[論文レビュー] PatchComplete: Learning Multi-Resolution Patch Priors for 3D Shape Completion on Unseen Categories

Yuchen Rao, Yinyu Nie+1 more|arXiv (Cornell University)|Jun 10, 2022

Image Retrieval and Classification Techniques被引用数 9

ひとこと要約

PatchCompleteは、多様な訓練カテゴリからマルチスケールのパッチ事前分布を学習することで、未学習のオブジェクトカテゴリのロバストな再構成を可能にする、3D形状補完のための新規手法を提示する。入力部分形状と学習済みの局所幾何的事前分布をクロスアテンションで整合させ、マルチスケールのパッチを統合することで、SOTA性能を達成し、ShapeNetではChamfer Distanceを19.3%改善、ScanNetでは9.0%改善した。

ABSTRACT

While 3D shape representations enable powerful reasoning in many visual and perception applications, learning 3D shape priors tends to be constrained to the specific categories trained on, leading to an inefficient learning process, particularly for general applications with unseen categories. Thus, we propose PatchComplete, which learns effective shape priors based on multi-resolution local patches, which are often more general than full shapes (e.g., chairs and tables often both share legs) and thus enable geometric reasoning about unseen class categories. To learn these shared substructures, we learn multi-resolution patch priors across all train categories, which are then associated to input partial shape observations by attention across the patch priors, and finally decoded into a complete shape reconstruction. Such patch-based priors avoid overfitting to specific train categories and enable reconstruction on entirely unseen categories at test time. We demonstrate the effectiveness of our approach on synthetic ShapeNet data as well as challenging real-scanned objects from ScanNet, which include noise and clutter, improving over state of the art in novel-category shape completion by 19.3% in chamfer distance on ShapeNet, and 9.0% for ScanNet.

研究の動機と目的

• 限定的な訓練データから学習されるカテゴリ固有の事前分布のため、未学習カテゴリへの一般化の課題に対処すること。
• 既存手法が特定カテゴリに過適合し、新規クラスで失敗するという制限を克服すること。
• ノイズ、ごみ、不完全な幾何構造を含む実世界のスキャンオブジェクトに対しても効果的な形状補完を可能にすること。
• 多様なオブジェクトカテゴリに共通する部分構造（例：脚、ロッド）を捉える一般化可能な局所幾何的事前分布を学習すること。
• 新規クラスの微調整や再訓練を必要とせずに、カテゴリ間で一般化可能な手法を開発すること。

提案手法

• 複数のカテゴリにまたがる多様な訓練形状からマルチスケールのパッチ事前分布を学習し、共通する局所的部分構造を捉える。
• クロスアテンション機構を用いて、部分入力形状の局所領域と学習済みパッチ事前分布を相関付ける。
• 学習可能な集約モジュールを通じてマルチスケールのパッチ事前分布を統合し、整合性のあるグローバルおよび局所的形状構造を再構築する。
• 微分可能な再構築損失を用いてエンドツーエンドでモデルを訓練し、パッチ事前分布およびアテンション重みの勾配ベース最適化を可能にする。
• テスト時に微調整なしに、まったく未学習のカテゴリに対しても学習済み事前分布を適用可能にする。
• 最終的な形状再構築に密なボクセルグリッド表現を用い、入力と事前分布パッチ間のアテンションベース特徴マッチングを実装する。

実験結果

リサーチクエスチョン

• RQ1 局所的パッチベースの事前分布は、多様な3Dオブジェクトカテゴリに一般化可能であり、未学習クラスの形状補完を可能にするか？
• RQ2 マルチスケールのパッチ事前分布学習は、細粒度および粗い幾何的構造の両方を補完に適切に捉えられるか？
• RQ3 入力部分形状と学習済みパッチ事前分布との間のアテンションベース相関が、再構築品質をどの程度向上させるか？
• RQ4 ノイズ、ごみ、不完全な幾何構造を含む実世界スキャンデータに対しても一般化可能か？
• RQ5 固定事前分布（例：訓練データからクラスタリング）と比較して、学習可能な事前分布は形状補完でどの程度優れているか？

主な発見

• PatchCompleteは、未学習カテゴリの形状補完において、SOTA手法と比較してShapeNetでChamfer Distanceを19.3%改善した。
• 実世界のScanNetデータでは、前人最高の手法と比較してChamfer Distanceが9.0%改善され、ノイズやごみに対してロバストであることが示された。
• アブレーションスタディの結果、アテンションベースのパッチ相関が極めて重要であり、アテンションなしのバージョンではShapeNetにおけるインスタンスChamfer Distanceが0.21悪化した。
• 合成データでの事前学習が実ScanNetデータの性能を顕著に向上させ、平均でChamfer Distanceを7.61から7.38に低下させた。
• 学習済みパッチ事前分布は固定事前分布（例：平均シフトクラスタリング）を上回り、ShapeNetにおけるインスタンスChamfer Distanceで0.08の改善を達成した。
• 本手法は異なるカテゴリ分割に対してロバストであり、複数のトレイン/新規カテゴリ設定において一貫した性能を示しており、トレインカテゴリの分布に依存しにくいことが示された。