[論文レビュー] PointDSC: Robust Point Cloud Registration using Deep Spatial Consistency

Xuyang Bai, Zixin Luo+6 more|arXiv (Cornell University)|Mar 9, 2021

3D Surveying and Cultural Heritage参考文献 76被引用数 17

ひとこと要約

PointDSCは、独創的な非局所特徴集約モジュールと微分可能スペクトルマッチングモジュールを通じて空間的一致性を明示的にモデル化することで、ロバストな3次元点群登録のためのディープラーニングフレームワークを提案する。実世界のデータセットにおいて最先端の性能を達成し、特に高い外れ値比と小さな重複領域の下でも、従来の学習ベースおよび手作業の外れ値除外手法を顕著に上回る性能を発揮する。

ABSTRACT

Removing outlier correspondences is one of the critical steps for successful feature-based point cloud registration. Despite the increasing popularity of introducing deep learning methods in this field, spatial consistency, which is essentially established by a Euclidean transformation between point clouds, has received almost no individual attention in existing learning frameworks. In this paper, we present PointDSC, a novel deep neural network that explicitly incorporates spatial consistency for pruning outlier correspondences. First, we propose a nonlocal feature aggregation module, weighted by both feature and spatial coherence, for feature embedding of the input correspondences. Second, we formulate a differentiable spectral matching module, supervised by pairwise spatial compatibility, to estimate the inlier confidence of each correspondence from the embedded features. With modest computation cost, our method outperforms the state-of-the-art hand-crafted and learning-based outlier rejection approaches on several real-world datasets by a significant margin. We also show its wide applicability by combining PointDSC with different 3D local descriptors.

研究の動機と目的

• 特徴ベースの3次元点群登録における高い外れ値比の課題に対処すること。伝統的手法は、インライアクラスタの優位性が低い場合に失敗する。
• 既存の学習ベース手法が特徴埋め込みおよび外れ値分類の段階で空間的一致性を無視するという限界を克服すること。
• 剛体変換における幾何的制約、特に空間的一致性を深層ニューラルネットワークに統合し、よりロバストな外れ値除外を実現すること。
• 屋内および屋外のさまざまなシナリオに一般化可能であり、さまざまな3次元局所特徴記述子とシームレスに連携できる手法を開発すること。
• 学習された幾何的特徴とシーディング機構を組み合わせることで、高ノイズ環境下でのスペクトルマッチングのロバスト性を向上させること。

提案手法

• 空間的一致性をガイドする非局所（SCNonlocal）モジュールを提案。特徴類似性と空間的整合性（剛体変換下での長さの一貫性）の両方を用いて特徴相関を重みづけする。
• 従来の長さベースの適合性に代わり、深層幾何的特徴を用いた微分可能な神経スペクトルマッチング（NSM）モジュールを導入。エンド・ツー・エンドの学習を可能にする。
• 信頼性の高い対応関係を特定し、複数のサブセットを形成するためのシーディング機構を採用。これにより、高い外れ値比下でもインライアクラスタ検出が向上する。
• 埋め込み特徴と空間的一致性から構築された適合性グラフを用いて、スペクトルクラスタリングによりインライアセット推定を実行する。
• NSMモジュールを、ペアワイズ空間的適合性損失（$L_{sm}$）で監視。これにより、ネットワークが幾何的一致性からインライア信頼度を学習できる。
• SCNonlocalとNSMモジュールを2段階パイプラインで統合：まず空間に注意を払った特徴埋め込み；次にスペクトル解析による微分可能な外れ値除去。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワーク内で空間的一致性を明示的にモデル化することで、3次元点群登録における外れ値除外のロバスト性が向上するか？
• RQ2 剛体変換の一貫性（幾何的制約）を特徴埋め込みに組み込むことで、対応関係マッチングのための表現学習がどのように向上するか？
• RQ3 高い外れ値比下で、微分可能なスペクトルマッチングモジュールが従来のSMおよびエンド・ツー・エンド学習ベース手法をどの程度上回るか？
• RQ4 提案されたシーディング機構は、小領域重複および高ノイズ登録シナリオでの性能を向上させるか？
• RQ5 本手法は多様なデータセットに一般化可能であり、さまざまな3次元局所特徴記述子と効果的に連携できるか？

主な発見

• PointDSCは3DMatchデータセットで93.28%の登録リCALL（RR）と82.35%のF1スコアを達成し、以前のSOTA（DGR）をRRで5.1%、F1で5.2%上回った。
• NSMモジュールと組み合わせた場合、SCNonlocalモジュールはベースラインのPointCNと比較してRRで4.89%、F1で7.31%の性能向上を達成した。
• 神経特徴の一貫性を組み込んだNSMモジュールは、従来のSMをRRで1.86%、F1で0.67%上回り、学習された幾何的特徴の利点を示した。
• シーディング機構を導入した場合、非シーディングNSMと比較してRRで4.48%、F1で33.47%の性能向上が得られ、高外れ値比下での有効性が裏付けられた。
• 学習中に$L_{sm}$損失を除去するとF1スコアが81.58%に低下し、空間適合性による監視の重要性が確認された。
• 定性的な結果から、PointDSCは95%の外れ値比でさえも外れ値を効果的に除外できた一方、RANSAC-100kはこのような極端な状況では失敗した。