[論文レビュー] StickyPillars: Robust feature matching on point clouds using Graph Neural Networks

Martín Simón, Kai Fischer+3 more|arXiv (Cornell University)|Feb 10, 2020

Robotics and Sensor-Based Localization参考文献 30被引用数 6

ひとこと要約

StickyPillars は、スパースな 3D キーポoin まわりのコンテキストを集約するためにトランスフォーマーに基づく自己注意およびクロス注意を用いたグラフニューラルネットワークを用いて、ポイントクラウドの高速で正確かつ頑健な 3D フィーチャーマッチング手法を提案する。特徴マッチングを最適輸送問題として定式化することで、KITTI で最先端の精度を達成し、最先端のディープラーニング手法よりも 4 倍速く、フレームドロップや高スピー ド下でも安定性を維持する。

ABSTRACT

Robust point cloud registration in real-time is an important prerequisite for many mapping and localization algorithms. Traditional methods like ICP tend to fail without good initialization, insufficient overlap or in the presence of dynamic objects. Modern deep learning based registration approaches present much better results, but suffer from a heavy run-time. We overcome these drawbacks by introducing StickyPillars, a fast, accurate and extremely robust deep middle-end 3D feature matching method on point clouds. It uses graph neural networks and performs context aggregation on sparse 3D key-points with the aid of transformer based multi-head self and cross-attention. The network output is used as the cost for an optimal transport problem whose solution yields the final matching probabilities. The system does not rely on hand crafted feature descriptors or heuristic matching strategies. We present state-of-art art accuracy results on the registration problem demonstrated on the KITTI dataset while being four times faster then leading deep methods. Furthermore, we integrate our matching system into a LiDAR odometry pipeline yielding most accurate results on the KITTI odometry dataset. Finally, we demonstrate robustness on KITTI odometry. Our method remains stable in accuracy where state-of-the-art procedures fail on frame drops and higher speeds.

研究の動機と目的

• 従来の ICP やディープラーニングベースの登錈手法には、良い初期化がなければ失敗しやすく、実行時間が高く、動的条件下で性能が低下するという限界があるため、それらの問題を解決すること。
• 手作業で設計された記述子やヒューリスティックなマッチング戦略に依存しない、頑健でリアルタイムな中間エンドの特徴マッチングシステムを構築すること。
• フルパイプラインに新規な特徴マッチングモジュールを統合することで、LiDAR オドメトリの精度と効率を向上させること。
• フレームドロップや高スピー ドでの運動といった困難な条件下でも安定性を確保すること、ここで最先端の手法は失敗する。

提案手法

• 本手法は、ポイントクラウドから抽出されたスパースな 3D キーポイントに対してコンテキスト集約を実行するためのグラフニューラルネットワークを採用する。
• キーポイント間の長距離依存関係や関係性をモデル化するために、トランスフォーマーに基づくマルチヘッド自己注意およびクロス注意を用いる。
• ネットワークの出力を最適輸送問題のコスト行列として用い、最終的なマッチング確率を計算する。
• 手作業で設計された記述子やヒューリスティックなマッチングを避けるために、微分可能輸送を介してエンドツーエンドの特徴表現とマッチングを学習する。
• 効率性を考慮したアーキテクチャ設計により、大規模な 3D データに対してリアルタイム推論を実現する。
• 実世界のシーケンスでの性能評価を目的として、LiDAR オドメトリパイプラインに本手法を統合する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースの特徴マッチング手法は、3D ポイントクラウド登錜において、高精度とリアルタイム性能の両方を達成できるか？
• RQ2 提案手法のアテンション強化型グラフニューラルネットワークは、初期化が悪い場合やオーバーラップが少ない状況下でも、既存手法と比較してどの程度頑健か？
• RQ3 ヒューリスティックなマッチング戦略と比較して、最適輸送定式化はマッチングの信頼性をどの程度向上させるか？
• RQ4 実世界の LiDAR シーケンスにおいて、フレームドロップや高スピー ドでの運動といった困難な条件下でも、本手法は精度を維持できるか？

主な発見

• StickyPillars は KITTI ポイントクラウド登錈ベンチマークで最先端の精度を達成した。
• 本手法は、最先端のディープラーニングベースの登錈手法よりも 4 倍速く、優れた精度を維持した。
• LiDAR オドメトリパイプラインに統合した際、KITTI オドメトリデータセットで最も正確な結果をもたらした。
• フレームドロップや高スピー ドでの運動下でも、本システムは安定して正確であり、最先端の手法が失敗する状況でも問題を解消した。
• 自己注意およびクロス注意を備えたグラフニューラルネットワークの使用により、手作業で設計された特徴に依存せずに、頑健なコンテキスト集約が可能になった。
• 最適輸送定式化により、学習された特徴コストから信頼性の高いマッチング確率が効果的に計算された。