[論文レビュー] ASFM-Net: Asymmetrical Siamese Feature Matching Network for Point Completion

Yaqi Xia, Yan Xia+4 more|arXiv (Cornell University)|Apr 19, 2021

3D Shape Modeling and Analysis参考文献 64被引用数 8

ひとこと要約

ASFM-Netは、完全な点群からの形状事前知識をシアンズ自動エンコーダーを介して不完全な入力特徴を強化することで、3次元点群補完のための非対称的シアンズ特徴マッチングネットワークを提案する。最先端の性能を達成し、前人最高の手法から12%の差をつけてCompletion3Dのリーダーボードで1位を獲得しており、新規カテゴリに対しても高いロバスト性と一般化性能を示している。

ABSTRACT

We tackle the problem of object completion from point clouds and propose a novel point cloud completion network employing an Asymmetrical Siamese Feature Matching strategy, termed as ASFM-Net. Specifically, the Siamese auto-encoder neural network is adopted to map the partial and complete input point cloud into a shared latent space, which can capture detailed shape prior. Then we design an iterative refinement unit to generate complete shapes with fine-grained details by integrating prior information. Experiments are conducted on the PCN dataset and the Completion3D benchmark, demonstrating the state-of-the-art performance of the proposed ASFM-Net. Our method achieves the 1st place in the leaderboard of Completion3D and outperforms existing methods with a large margin, about 12%. The codes and trained models are released publicly at https://github.com/Yan-Xia/ASFM-Net.

研究の動機と目的

• 既存の点群補完手法における不完全なグローバル特徴の制限を補うために、完全な形状からの形状事前知識を統合すること。
• 補完された点群における再構築の忠実性と細粒度の幾何的詳細を向上させること。
• 高い遮蔽（可視比が低い）条件下でのロバスト性を向上させること。
• 入力の詳細を保持しながら高密度かつ完全な出力を生成する粗〜細のフレームワークを構築すること。
• 特にCompletion3Dにおいて、ベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 部分的および完全な点群を共有された潜在空間にマップする非対称的シアンズ自動エンコーダーを訓練し、特徴マッチングにより両者のグローバル特徴を一致させる。
• 部分的および完全な入力の両方に対して共有エンコーダーを用い、完全な形状のための別個のデコーダーを備えることで形状事前知識を学習する。
• 特徴マッチング戦略により、完全な形状と部分的な入力のグローバル特徴の整合性を強制し、不完全な特徴表現を精緻化する。
• 反復的リファインメントユニットを導入し、事前知識と入力特徴から高解像度で詳細な点群を段階的に再構築する。
• リファインメントユニットは入力の幾何構造を保持し、アテンションとスキップ接続機構を用いて欠損部を段階的に推定する。
• 再構築損失と特徴マッチング損失の組み合わせを用いて、エンドツーエンドで訓練し、形状の忠実性を最適化する。

実験結果

リサーチクエスチョン

• RQ1 完全な点群からの形状事前知識は、3次元補完における不完全な入力の表現を向上させることができるか？
• RQ2 部分的および完全な形状間の特徴マッチングは、再構築品質をどのように向上させるか？
• RQ3 反復的リファインメントユニットは、不完全な入力から細粒度の幾何的詳細を効果的に回復させることができるか？
• RQ4 高い遮蔽（可視比が低い）条件下で、この手法はどの程度ロバストか？
• RQ5 事前学習時に見られなかった新規のオブジェクトカテゴリに対して、モデルの一般化性能はどの程度高いか？

主な発見

• ASFM-NetはCompletion3Dベンチマークで1位を獲得し、前人最高の手法を12%以上上回る指標を達成した。
• PCNデータセットでは、あらゆる可視比において最小のチェンバーカルタンス（CD-P）を達成し、80%可視比でCD-Pが16.27×10⁻³を記録した。
• 高い遮蔽に強く、20%可視比でも一貫性のある形状（例：完全な飛行機）を再構築できる一方、PCNは完全に失敗する。
• アブレーションスタディの結果、反復的リファインメントユニットの貢献度がシアンズ特徴マッチングモジュールを上回っていることが示された。
• 新規カテゴリ、特に視覚的に類似しないもの（例：ピストルやスケートボード）においても、ASFM-Netは前人手法を大きく上回り、優れた一般化性能を示した。
• 非対称的シアンズ自動エンコーダーは新規カテゴリで粗い出力を生成するが、誤ってベッドをチェアと認識するなど誤りを生じるが、リファインメントユニットがこれを是正する。これは詳細回復の有効性を裏付けている。