[論文レビュー] Learning Local Displacements for Point Cloud Completion

Yida Wang, David Joseph Tan+2 more|arXiv (Cornell University)|Mar 30, 2022

3D Shape Modeling and Analysis被引用数 6

ひとこと要約

本稿では、エンコーダ・デコーダおよびトランスフォーマーモデル内に、局所記述子マッチング、ネイバー・プーリング、特徴に配慮したアップサンプリングの3つのカスタム層を組み込んだ、新規なポイントクラウド補完フレームワークを提案する。本手法は、オブジェクトおよびシーン補完ベンチマークの両方で最先端の性能を達成し、CompleteScanNetでは3.04のチェンファーディスタンス、NYUでは4.38を記録し、優れた再構成品質と細部の保持を実現した。

ABSTRACT

We propose a novel approach aimed at object and semantic scene completion from a partial scan represented as a 3D point cloud. Our architecture relies on three novel layers that are used successively within an encoder-decoder structure and specifically developed for the task at hand. The first one carries out feature extraction by matching the point features to a set of pre-trained local descriptors. Then, to avoid losing individual descriptors as part of standard operations such as max-pooling, we propose an alternative neighbor-pooling operation that relies on adopting the feature vectors with the highest activations. Finally, up-sampling in the decoder modifies our feature extraction in order to increase the output dimension. While this model is already able to achieve competitive results with the state of the art, we further propose a way to increase the versatility of our approach to process point clouds. To this aim, we introduce a second model that assembles our layers within a transformer architecture. We evaluate both architectures on object and indoor scene completion tasks, achieving state-of-the-art performance.

研究の動機と目的

• 部分的なポイントクラウドからの3次元形状補完の課題に取り組み、特に高い幾何的忠実度で遮蔽領域を回復することを目的とする。
• プーリング中の個々の特徴記述子の損失や非構造的な特徴マップといった、既存のポイントクラウド処理の限界を克服することを目的とする。
• エンコーダ・デコーダおよびトランスフォーマーベースのアーキテクチャの両方で、学習された局所的変位と適応的特徴集約を活用することで、補完品質を向上させることを目的とする。
• 統一的かつ学習可能なフレームワークを用いて、オブジェクトおよび意味的シーン補完タスクの両方における汎用的で高解像度の再構成を可能とすることを目的とする。

提案手法

• 点特徴を事前に訓練済みの局所的記述子の集合にマッチングさせる特徴抽出層を導入し、幾何的表現を強化する。
• ネイバー・プーリングを提案する。これは、最大プーリングによる記述子損失を回避するため、活性度が最も高い特徴ベクトルを選択することで、個々の特徴ベクトルを保持する新しいダウンサンプリング操作である。
• デコーダにおける特徴に配慮したアップサンプリング機構を設計し、出力次元を増加させつつ、空間的・意味的整合性を維持する。
• PoinTrにインspiredされたトランスフォーマーベースのアーキテクチャに、提案された層を統合し、長距離依存性のモデリングと特徴の洗練を向上させる。
• 観察可能な領域から遮蔽領域へと段階的にターゲットを再構築するプログレッシブ損失関数を採用し、構造的正確性を向上させる。
• ミックスアンドマッチによるアブレーションスタディを実施し、バックボーンおよび粗〜細かいフィニッシングパイプラインにおける各コンponentのモジュラリティと有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的なマックスプーリングやグローバル特徴集約を超えて、局所的特徴マッチングと適応的プーリングが、ポイントクラウド補完にどのように寄与するか。
• RQ2 提案された層が、部分的なポイントクラウド補完における再構成品質および細部回復に、どの程度向上効果をもたらすか。
• RQ3 これらの層をトランスフォーマーアーキテクチャに統合することで、オブジェクトおよびシーン補完タスクの両方で性能がさらに向上するか。
• RQ4 遮蔽領域を優先するプログレッシブ損失関数は、標準的なL2損失と比較して、最終的な再構成品質にどのように影響を与えるか。

主な発見

• 提案手法はCompleteScanNetデータセットで3.04のチェンファーディスタンスを達成し、PoinTr（5.08）やMSN（7.28）といった先行研究を上回った。
• NYUデータセットでは4.38のチェンファーディスタンスを記録し、GRNet（5.80）、VRCNet（5.45）、PoinTr（5.92）を顕著に上回った。
• アブレーションスタディにより、ネイバー・プーリング層が記述子損失を低減し、特徴表現を向上させ、より良い再構成に寄与することが確認された。
• 提案されたコンponentsを統合したトランスフォーマーベースのアーキテクチャが、すべてのベンチマークで最良の結果を達成し、モジュラ設計の有効性を示した。
• γを用いた意味的損失関数の適応的重み付けを除去すると、IoUが7.5–9%向上したため、幾何的正確性と意味的正確性のバランスを取るために重要であることが証明された。
• ミックスアンドマッチアブレーションにより、提案されたバックボーンは、任意の粗〜細い戦略と組み合わせても、他のバックボーンを常に上回ることが確認され、汎用性とモularityの有効性が裏付けられた。