[論文レビュー] PREDATOR: Registration of 3D Point Clouds with Low Overlap

Shengyu Huang, Žan Gojčič+3 more|arXiv (Cornell University)|Nov 25, 2020

3D Shape Modeling and Analysis参考文献 54被引用数 9

ひとこと要約

Predatorは、低重複スキャン間の重複領域に注目するオーバーラップアテンション機構を用いた3D点群登録のためのディーブラーニングモデルであり、特徴点の選択とマッチングを改善する。3DMatchベンチマークでは90.6%の登録リcallを達成し、低重複状況では15ポイント以上の成功確率向上を実現した。

ABSTRACT

We introduce PREDATOR, a model for pairwise point-cloud registration with deep attention to the overlap region. Different from previous work, our model is specifically designed to handle (also) point-cloud pairs with low overlap. Its key novelty is an overlap-attention block for early information exchange between the latent encodings of the two point clouds. In this way the subsequent decoding of the latent representations into per-point features is conditioned on the respective other point cloud, and thus can predict which points are not only salient, but also lie in the overlap region between the two point clouds. The ability to focus on points that are relevant for matching greatly improves performance: PREDATOR raises the rate of successful registrations by more than 20% in the low-overlap scenario, and also sets a new state of the art for the 3DMatch benchmark with 89% registration recall.

研究の動機と目的

• スキャン間の重複が30%未満に低下する状況において、既存の3D点群登録手法の頑健性の欠如に対処すること。
• 標準ベンチマークで優れた性能を示すにもかかわらず、現状の最先端手法が低重複領域で失敗する理由を解明すること。
• 特徴学習中に2つの点群間の重複領域を明示的にモデル化し、注目を向けるニューラルアーキテクチャの開発。
• クロスクラウドの文脈に条件づけて特徴点のサンプリングを改善し、顕著で重複する点を優先すること。
• 繰り返し性と識別性を高めるためのマッチングスコアを学習するための新しい損失関数の導入。

提案手法

• ボクセル化された入力点群からスーパーポイントレベルの潜在特徴を抽出するために、シアンプルエンコーダーを採用する。
• 2つの点群の潜在表現間で自己アテンションとクロスアテンションを適用するオーバーラップアテンションブロックを導入する。
• オーバーラップアテンションモジュールを用いてオーバーラップスコアとクロスオーバーラップスコアを生成し、早期の文脈的交換を可能にする。
• デコーダーを潜在特徴とオーバーラップに配慮した表現の両方の条件付けによって、各点の特徴記述子を出力する。
• マッチングスコアを最適化する新しい損失関数を用いて、特徴点選択をガイドする。
• 他の点群の表現に条件づけて特徴記述子を精緻化し、低重複に対する頑健性を向上させる。

Figure 1: Predator is designed to focus attention on the overlap region, and to prefer salient points in that region, so as to enable robust registration in spite of low overlap.

実験結果

リサーチクエスチョン

• RQ1 なぜ最先端の3D点群登録手法は、標準ベンチマークで高い性能を示すにもかかわらず、低重複状況で失敗するのか？
• RQ2 点群エンコーディング間の早期クロスアテンションは、低重複領域における登録の頑健性を向上させ得るか？
• RQ3 特徴点のサンプリングを重複領域に集中させることで、登録成功確率を顕著に向上させ得るか？
• RQ4 重複をモデル化する学習可能なアテンション機構は、特徴記述子の品質とマッチング可能性を向上させ得るか？
• RQ5 本手法は、直接登録法および特徴ベース手法と比較して、低重複状況および実世界設定においてどのように評価されるか？

主な発見

• Predatorは、既存手法と比較して、低重複状況における登録リcallを15ポイント以上向上させた。
• 3DMatchベンチマークにおいて90.6%の登録リcallを達成し、新たな最先端性能を記録した。
• オーバーラップアテンション機構のおかげで、重複領域からの点のサンプリング割合が顕著に向上し、低重複設定では失敗率が40ポイント以上低下した。
• ModelNetおよびModelLoNetデータセットにおいて、DCP-v2およびRPM-Netを上回ったが、特に低重複状況で回転誤差と並進誤差が低かった。
• オーバーラップアテンション（確率 (om)）を用いた点のサンプリングは、ランダムサンプリングよりも顕著に優れた結果をもたらし、40%の完全度でRREを約8°低減した。
• KITTIオドメトリーデータセットでは、最先端手法と同等の性能を達成し、99.8%の登録リcallと6.8 cmの平均並進誤差を達成した。

Figure 2: Registration with SoTA methods deteriorates rapidly for pairs with $<$ 30% overlap ( left ). By increasing the fraction of points sampled in the overlap region, many failures can be avoided as shown here for FCGF [ 9 ] ( right ).