[論文レビュー] CoFiNet: Reliable Coarse-to-fine Correspondences for Robust Point Cloud Registration

Hao Yu, Lin Fu+3 more|arXiv (Cornell University)|Oct 26, 2021

3D Shape Modeling and Analysis参考文献 49被引用数 95

ひとこと要約

CoFiNetは検出を伴わない粗から細へのフレームワークを提案し、階層的対応を学習して堅牢な3D点群登録を実現し、パラメータ数が少ない中で最先端を上回し、特に低オーバーラップの状況で顕著である。

ABSTRACT

We study the problem of extracting correspondences between a pair of point clouds for registration. For correspondence retrieval, existing works benefit from matching sparse keypoints detected from dense points but usually struggle to guarantee their repeatability. To address this issue, we present CoFiNet - Coarse-to-Fine Network which extracts hierarchical correspondences from coarse to fine without keypoint detection. On a coarse scale and guided by a weighting scheme, our model firstly learns to match down-sampled nodes whose vicinity points share more overlap, which significantly shrinks the search space of a consecutive stage. On a finer scale, node proposals are consecutively expanded to patches that consist of groups of points together with associated descriptors. Point correspondences are then refined from the overlap areas of corresponding patches, by a density-adaptive matching module capable to deal with varying point density. Extensive evaluation of CoFiNet on both indoor and outdoor standard benchmarks shows our superiority over existing methods. Especially on 3DLoMatch where point clouds share less overlap, CoFiNet significantly outperforms state-of-the-art approaches by at least 5% on Registration Recall, with at most two-third of their parameters.

研究の動機と目的

• 再現性のあるキーポイント検出に頼らず、堅牢な点群登録を促進する。
• リファインメントの探索空間を縮小するための粗から細への対応付けフレームワークを導入する。
• 点レベルの対応付けを生成する、密度認識型で微分可能なリファインメントモジュールを開発する。
• オーバーラップに導かれた粗スケールのノード一致がリコールと堅牢性を向上させることを示す。
• 屋内・屋外のベンチマークで、より少ないパラメータで優れた性能を示す。

提案手法

• 共有 KPConv エンコーダを用いて、密な点群を均一に分布するノードにダウンサンプリングし、結合ノード特徴を学習する。
• 自己・相互・自己-attentionを備えたCorrespondence Proposal Blockを用いてダウンサンプリング済みノード間の粗い類似度マトリクスを生成し、スラックエントリを用いたSinkhorn最適化を適用して粗いノード対応を得る。
• 強化された特徴をデコードして、リファインメント用の密な点記述子に変換する。
• 粗いノード提案を点-to-ノードのグルーピングを介してパッチへ拡張し、密度適応マッチングモジュールを適用して、パッチ内で微分可能な最適輸送問題を解くことで対応をリファインする。
• 共同の粗さと細かさの損失を計算する: L = Lc + λLf で、粗いオーバーラップ認識の重み付けと細かな密度認識リファインのための特殊な監視を行う。

実験結果

リサーチクエスチョン

• RQ1 粗から細への検出不要パイプラインは、登録の3D点対応付けの再現性と堅牢性を改善できるか？
• RQ2 オーバーラップ導く粗いマッチングは探索空間を縮小し、精度を犠牲にすることなく効率を改善できるか？
• RQ3 密度認識リファインメントモジュールは、異なる点密度にわたって信頼できる点レベルの対応付けを提供できるか？
• RQ4 屋内（3DMatch, 3DLoMatch）と屋外（KITTI）ベンチマークで、特に低オーバーラップ下で、最新手法と比べてCoFiNetはどう機能するか？
• RQ5 より少なくても高品質な対応付けを用いた場合のパラメトリック効率とアブレーションの洞察は？

主な発見

• CoFiNetは屋内外のベンチマーク全体で優れたRegistration RecallとFeature Matching Recallを達成し、特にオーバーラップが制限された3DLoMatchで顕著である。
• 他の手法に比べてはるかに少ないパラメータで、強力な性能を発揮する。
• CoFiNetは対応付けが少なくても高いInlier比を生み出し、信頼スコア付けが適切にキャリブレーションされていることを示す。
• 密度適応リファインメントモジュールはパッチ内の異なる点密度を頑健に扱い、点レベルの対応精度を向上させる。
• 粗いオーバーラップ重み付け機構はリファインメントの探索空間を効果的に縮小し、低オーバーラップの状況で堅牢性を高める。