[論文レビュー] Multi-View Partial (MVP) Point Cloud Challenge 2021 on Completion and Registration: Methods and Results

Liang Pan, Tong Wu+27 more|arXiv (Cornell University)|Dec 22, 2021

3D Shape Modeling and Analysis被引用数 11

ひとこと要約

本論文は、2021年マルチビュー部分点群（MVP）チャレンジの結果と手法を提示しており、単一視点点群補完および部分点群対部分点群登録に焦点を当てている。最良の性能を示した手法、特にPoinTr++とGNNベースの登録モデルは、アテンション機構、反復的精錬、微分可能マッチングを活用し、10万点の仮想スキャン部分点群から成る大規模データセット上で最先端の性能を達成した。特に、最高の補完手法では、Chamfer距離が5.01×10⁻⁴に達した。

ABSTRACT

As real-scanned point clouds are mostly partial due to occlusions and viewpoints, reconstructing complete 3D shapes based on incomplete observations becomes a fundamental problem for computer vision. With a single incomplete point cloud, it becomes the partial point cloud completion problem. Given multiple different observations, 3D reconstruction can be addressed by performing partial-to-partial point cloud registration. Recently, a large-scale Multi-View Partial (MVP) point cloud dataset has been released, which consists of over 100,000 high-quality virtual-scanned partial point clouds. Based on the MVP dataset, this paper reports methods and results in the Multi-View Partial Point Cloud Challenge 2021 on Completion and Registration. In total, 128 participants registered for the competition, and 31 teams made valid submissions. The top-ranked solutions will be analyzed, and then we will discuss future research directions.

研究の動機と目的

• 実世界の部分スキャンを用いた3次元点群補完および登録分野における最先端技術の向上を図ること。
• 10万件を超えるスキャンを含む大規模かつ高品質なマルチビュー部分点群データセットを用いて、学習ベースの手法の評価を行うこと。
• 外部事前学習を制限する標準化されたトレーニングおよび評価プロトコルを用いて、公平なベンチマークを確立すること。
• 将来の研究に向け、最良の性能を示したアーキテクチャを同定し、その設計選択を分析すること。
• Chamfer距離などの現在のメトリクスの限界を検証し、BCDやEMDを用いた改善策を提案すること。

提案手法

• 補完トラックでは、ノイズ除去および予測点群の精錬を目的とした、反復的精錬ブロックを備えたトランスフォーマー基盤アーキテクチャ（PoinTr++）が使用された。
• 最良の登録手法は、グラフニューラルネットワーク（GNN）を採用し、クロスグラフ接続とISS（反復的サンプリングと選択）モジュールを組み合わせて、対応関係学習を強化した。
• マッチング用の信頼度マップを生成するために、微分可能なSinkhornアルゴリズムが使用され、微分可能なソフトな対応関係学習が可能になった。
• 複数の損失関数を統合したマルチパーツ損失関数が採用され、インライアスコア用の交差エントロピー、オーバーラップ信頼度用のピーク型損失、信頼度ベースのマッチング損失が含まれた。
• トレーニングでは、データをランダムにサンプリングして1,024点にし、正例と負例の数をバランスさせるようにして、耐性を高めた。
• 推論時、モデルは2,048点を保持し、上位50％の信頼度を持つ双方向対応関係を選択して、SVDを用いて最終的な変換を計算した。

実験結果

リサーチクエスチョン

• RQ1 部分点群補完において、アテンションベースとGNNベースのアーキテクチャは、性能と耐性の面でどのように比較されるか？
• RQ2 微分可能マッチングと信頼度ベースの対応関係学習は、部分点群対部分点群登録の性能をどの程度向上させ得るか？
• RQ3 反復的精錬とマルチスケール特徴学習は、極めて不完全なスキャンにおいて補完品質を顕著に向上させ得るか？
• RQ4 現在のメトリクス（Chamfer距離）は、補完結果を部分観測に偏らせる傾向があるが、代替としてより信頼性の高い指標は何か？
• RQ5 点群補完および登録分野における最先端性能を達成するにあたり、どのようなアーキテクチャ的およびトレーニング設計の選択が重要であったか？

主な発見

• 最良の補完手法であるPoinTr++は、テストセットにおいてChamfer距離5.01×10⁻⁴を達成し、ベースラインモデルを上回った。
• 2位の手法であるTSPCCは、IOI増強とマルチスケールSPDモジュールを用いて、意味的認識を高めた補完を実現した。
• 最良の登録手法は、ノイズなしのMVPテストセットで回転誤差2.5008°、並進誤差0.0305を達成した。
• ノイズを含むデータでは、最良の登録モデルが回転誤差3.2183°を維持し、入力劣化に対して耐性があることが示された。
• 3位の手法は、クロスグラフ接続とISSを活用して、特にオーバーラップが少ない状況でもマッチング品質を向上させた。
• 強力な結果を示したが、トップ手法は最大1,500エポックにわたる長時間のトレーニングを要し、計算コストが高かったため、効率化の余地があることが示された。