[論文レビュー] Robust Point Cloud Registration Framework Based on Deep Graph Matching

Kexue Fu, Shaolei Liu+2 more|arXiv (Cornell University)|Mar 7, 2021

Graph Theory and Algorithms参考文献 42被引用数 15

ひとこと要約

本稿では、高い外れ値率および初期化が悪い状況下でも対応できる、ロバストな点群登録のための新しい深層グラフマッチングフレームワークRGMを提案する。点群からグラフを構築し、構造的トポロジーを保持しながらノード特徴をマッチングする学習可能AISモジュールを用いることで、クリーン、ノイズあり、部分的対部分的、および未知のカテゴリの点群において、最先端の性能を達成する。部分的対部分的データでは90%以上の成功率を達成し、未知カテゴリへの一般化性能も優れている。

ABSTRACT

3D point cloud registration is a fundamental problem in computer vision and robotics. There has been extensive research in this area, but existing methods meet great challenges in situations with a large proportion of outliers and time constraints, but without good transformation initialization. Recently, a series of learning-based algorithms have been introduced and show advantages in speed. Many of them are based on correspondences between the two point clouds, so they do not rely on transformation initialization. However, these learning-based methods are sensitive to outliers, which lead to more incorrect correspondences. In this paper, we propose a novel deep graph matchingbased framework for point cloud registration. Specifically, we first transform point clouds into graphs and extract deep features for each point. Then, we develop a module based on deep graph matching to calculate a soft correspondence matrix. By using graph matching, not only the local geometry of each point but also its structure and topology in a larger range are considered in establishing correspondences, so that more correct correspondences are found. We train the network with a loss directly defined on the correspondences, and in the test stage the soft correspondences are transformed into hard one-to-one correspondences so that registration can be performed by singular value decomposition. Furthermore, we introduce a transformer-based method to generate edges for graph construction, which further improves the quality of the correspondences. Extensive experiments on registering clean, noisy, partial-to-partial and unseen category point clouds show that the proposed method achieves state-of-the-art performance. The code will be made publicly available at https://github.com/fukexue/RGM.

研究の動機と目的

• 高い外れ値比と悪い初期変換のもとでの点群登録の課題に対処すること。
• 局所幾何学を超えた高次構造的およびトポロジカル情報を利用することで、対応精度を向上させること。
• 変換の初期化を必要としないエンドツーエンドで学習可能なフレームワークを構築すること。
• より優れた特徴表現とグラフ構築により、未知形状カテゴリへの一般化を向上させること。
• 登録におけるより意味のあるグラフトポロジーを実現する、トランスフォーマーに基づくエッジ生成器を導入すること。

提案手法

• 入力点群を、構造的接続を定義する学習可能なトランスフォーマーに基づくエッジ生成器を用いてグラフに変換する。
• 近傍点に基づくポイントワイドな特徴エンコーダーを用いて、各ポイントの深層局所特徴を抽出する。
• グラフニューラルネットワーク層を用いて、ノード特徴とグラフ構造を統合された特徴空間に埋め込む。
• 微分可能なグラフマッチングにより、ソフト対応行列を計算するためのAISモジュール（アフィニティ層、インスタンス正規化、Sinkhorn層を含む）を実装する。
• 予測されたソフト対応と真値対応との間のバイナリクロスエントロピー損失を用いてネットワークを学習する。
• ハンガリアンアルゴリズムを用いてソフト対応を1対1のハード対応に変換し、SVDを用いて最終的な剛体変換を計算する。

実験結果

リサーチクエスチョン

• RQ1 深層グラフマッチングは、直接的な特徴マッチングと比較して、高い外れ値比下でも対応精度を向上させることができるか？
• RQ2 グラフ表現における構造的およびトポロジカルな文脈を組み込むことで、ノイズや部分的オーバーラップに対してどの程度耐性が向上するか？
• RQ3 トランスフォーマーに基づく学習可能なエッジ生成器は、k-NN や全結合接続といった固定接続手法に比べ、グラフ構築において登録に優れた性能を示すか？
• RQ4 提案フレームワークは、ファインチューニングなしで、どの程度未知の形状カテゴリに一般化できるか？
• RQ5 AISモジュールは、単純な対応予測メカニズムと比較して、どの程度耐性と正確性に優れているか？

主な発見

• RGMは、部分的対部分的点群登録において90%以上の成功率を達成し、RPM-Net や他の学習ベースのベースラインを著しく上回っている。
• 未知カテゴリの点群では、RGMは強力な一般化性能を維持している一方、他の学習ベースの手法は効果的に一般化できない。
• アブレーションスタディにより、AISモジュールはその変種と比較して、対応精度を20–30パーセンテージポイント向上させることを確認しており、構造的グラフマッチングの重要性を示している。
• トランスフォーマーに基づくエッジ生成器を全結合エッジに置き換えると性能が低下し、学習されたトポロジカル構造が対応品質を向上させることを裏付けている。
• 定性的な結果では、RGMは複雑な領域や部分的領域において、顕著に正しい対応を生成しており（例：85% 正確 vs. 50% の変種）、特に顕著である。
• クリーン、ノイズあり、部分的対部分的、および未知カテゴリの設定を含む、すべてのベンチマークで最先端の性能を達成している。