[論文レビュー] Lepard: Learning partial point cloud matching in rigid and deformable scenes

Yang Li, Tatsuya Harada|arXiv (Cornell University)|Nov 24, 2021

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

Lepard は、3次元位置表現と特徴表現を分離することで、剛体および変形可能なシーンにおける部分点群マッチングのための学習ベースの手法を提案する。ドット積ベースの位置符号化と再配置モジュールを用い、幾何的認識を向上させる。3DMatchではSOTAの登録再現率93.9%、3DLoMatchでは71.3%を達成し、新規の4DMatchと4DLoMatchベンチマークでは非剛体マッチング再現率がそれぞれ+27.1%および+34.8%高い結果を示した。

ABSTRACT

We present Lepard, a Learning based approach for partial point cloud matching in rigid and deformable scenes. The key characteristics are the following techniques that exploit 3D positional knowledge for point cloud matching: 1) An architecture that disentangles point cloud representation into feature space and 3D position space. 2) A position encoding method that explicitly reveals 3D relative distance information through the dot product of vectors. 3) A repositioning technique that modifies the crosspoint-cloud relative positions. Ablation studies demonstrate the effectiveness of the above techniques. In rigid cases, Lepard combined with RANSAC and ICP demonstrates state-of-the-art registration recall of 93.9% / 71.3% on the 3DMatch / 3DLoMatch. In deformable cases, Lepard achieves +27.1% / +34.8% higher non-rigid feature matching recall than the prior art on our newly constructed 4DMatch / 4DLoMatch benchmark.

研究の動機と目的

• 繰り返しの幾何的パターンを持つシーンにおける特徴マッチングのあいまいさに、3次元位置情報の組み込みによって対処する。
• 特に遮蔽や非剛体変形を伴う変形可能なシーンにおける、部分的かつ低オーバーラップな点群マッチングのロバスト性を向上させる。
• 分離されたアーキテクチャを必要とせず、剛体および非剛体点群マッチングの両方で良好に動作する統一フレームワークを開発する。
• 非剛体点群マッチングを現実的な動的条件下で評価できるように、新規ベンチマーク4DMatchおよびその低オーバーラップバージョン4DLoMatchを導入する。
• トランスレーション不変な深層ネットワークの限界を克服するため、可学習で微分可能なコンponentsを用いて相対的な3次元位置を明示的にモデル化する。

提案手法

• 幾何的特徴と空間的文脈を分離するために、点群表現を特徴空間と3次元位置空間に分離する。
• 3次元ベクトル表現のドット積を用いて、相対的な3次元距離情報を計算する位置符号化手法を導入する。
• クロス点群間の相対的位置を調整する再配置モジュールを適用し、アテンションおよび微分可能なマッチング性能を向上させる。
• 自己注意およびクロス注意メカニズムを備えたトランスフォーマーに基づくアーキテクチャを用い、文脈を統合し、対応関係を予測する。
• Sinkhorn正規化を用いた微分可能なマッチングを活用し、対応関係予測のエンドツーエンド最適化を可能にする。
• 剛体登録にはRANSACおよびICPに予測を統合し、変形可能な登録には非剛体ICP（N-ICP）に統合する。

実験結果

リサーチクエスチョン

• RQ1 相対的な3次元位置情報の明示的モデリングは、部分的かつオーバーラップする点群における特徴マッチングを改善できるか？
• RQ2 特徴と位置表現の分離は、剛体および変形可能なシーンにおけるマッチング精度にどのように影響するか？
• RQ3 統一アーキテクチャが、剛体および非剛体点群マッチングベンチマークの両方で先行手法を上回る程度はどの程度か？
• RQ4 低オーバーラップおよび遮蔽状態において、提案手法はSOTAアプローチと比較してどの程度の性能を示すか？
• RQ5 可学習な再配置モジュールは、点群対応関係学習におけるクロスアテンションおよび微分可能なマッチングを向上させることができるか？

主な発見

• RANSACおよびICPを組み合わせたLepardは、3DMatchで93.9%、3DLoMatchで71.3%の登録再現率を達成し、先行手法を上回った。
• 新規の4DMatchベンチマークでは、非剛体特徴マッチング再現率が先行手法より27.1%高い結果を示した。
• 4DLoMatchベンチマークでは、SOTAと比較して非剛体マッチング再現率が34.8%向上した。
• アブレーションスタディにより、再配置モジュールおよび位置符号化手法が、特に低オーバーラップ状況で顕著に性能向上をもたらすことが確認された。
• ICPの微調整後、3DMatchではRREとRTEの両方でPredatorを上回り、それぞれ1.96°および6.0 cmの結果を達成した。
• 低オーバーラップ状況における失敗事例は、非オーバーラップ領域に類似した幾何的パターンが存在する場合に継続的に見られ、今後の研究の課題である。