[論文レビュー] RSKDD-Net: Random Sample-based Keypoint Detector and Descriptor

Fan Lü, Guang Chen+3 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Image and Video Retrieval Techniques参考文献 40被引用数 29

ひとこと要約

RSKDD-Net は、ランダムサンプリングと新規のランダムダイレイションクラスタリング戦略、および注目メカニズムを組み合わせることで、情報損失を軽減する深層学習ベースの手法であり、大規模点群における効率的なキーポイント検出と記述を実現する。弱教師ありマッチング損失を用いた記述子学習により、先行手法よりも15倍以上高速な推論を達成し、最先端の性能を実現している。

ABSTRACT

Keypoint detector and descriptor are two main components of point cloud registration. Previous learning-based keypoint detectors rely on saliency estimation for each point or farthest point sample (FPS) for candidate points selection, which are inefficient and not applicable in large scale scenes. This paper proposes Random Sample-based Keypoint Detector and Descriptor Network (RSKDD-Net) for large scale point cloud registration. The key idea is using random sampling to efficiently select candidate points and using a learning-based method to jointly generate keypoints and descriptors. To tackle the information loss of random sampling, we exploit a novel random dilation cluster strategy to enlarge the receptive field of each sampled point and an attention mechanism to aggregate the positions and features of neighbor points. Furthermore, we propose a matching loss to train the descriptor in a weakly supervised manner. Extensive experiments on two large scale outdoor LiDAR datasets show that the proposed RSKDD-Net achieves state-of-the-art performance with more than 15 times faster than existing methods. Our code is available at https://github.com/ispc-lab/RSKDD-Net.

研究の動機と目的

• スケールが大きな点群において、局所的特徴抽出や最遠点抽出（FPS）に依存する従来の学習ベースのキーポイント検出手法の非効率性を解消すること。
• 新規の受容 field 拡張戦略により、ランダムサンプリングに起因する情報損失を軽減し、キーポイント検出のロバスト性と性能を向上させること。
• 自律走行などのリアルタイム応用に適した、エンドツーエンドで効率的なキーポイント検出と記述子生成の共同学習を実現すること。
• 点群ペアのうち、真値対応関係が存在しない状況でも、微分可能なマッチング損失に基づく弱教師あり学習により記述子を学習可能にするために、新しいアプローチを導入すること。

提案手法

• 計算コストの高い各点の局所的特徴抽出やFPSに代わり、効率的な候補点選択のためのランダムサンプリングを採用する。
• 各サンプリング点の受容 field を拡大するために、ダイレイションベースのクラスタリングを用いた新規のランダムダイレイションクラスタリング戦略を提案する。
• 隣接点からの位置情報と特徴情報を注目メカニズムで集約し、キーポイント表現の強化と局所的特徴の不確実性推定を実現する。
• 記述子ネットワークは、クラスタ特徴と注目マップを用いて、マッチングに耐性のある強力な記述子を生成する。
• 点群ペアのうち真値対応関係が存在しない状況でも、ソフト代入に基づく微分可能なマッチング損失を導入し、弱教師ありの記述子学習を可能にする。
• キーポイント検出とマッチングの両目的を組み合わせて、エンドツーエンドで訓練することで、キーポイント検出と記述子学習の共同最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 大規模点群におけるキーポイント検出に、性能の著しい低下を伴わずにランダムサンプリングを効果的に活用できるか？
• RQ2 ランダムサンプリングに起因する情報損失をどのように軽減すれば、キーポイント検出と記述子の精度を維持できるか？
• RQ3 弱教師ありマッチング損失が、真値対応関係を必要とせずに効果的な記述子学習を可能にするか？
• RQ4 提案されたランダムダイレイションクラスタリング戦略は、既存のクラスタリングやサンプリング手法に比べ、再現性と精度の面で優れているか？
• RQ5 注目メカニズムと損失関数の設計が、記述子の汎化性能と登録性能に与える影響は何か？

主な発見

• RSKDD-Net は2つの大規模な屋外 LiDAR データセットにおいて最先端の性能を達成し、再現性と精度の両面で従来手法を大きく上回っている。
• ネットワークは従来の学習ベースの手法よりも15倍以上高速に動作し、自律走行などのリアルタイム応用に適している。
• ランダムダイレイションクラスタリング戦略により、有効な受容 field が著しく拡大され、再現性と精度が向上した。一部の設定では DPC を上回り、他の設定では同等の性能を示した。
• 注目特徴マップの導入により、キーポイント数が128、256、512のすべての状況で精度が約0.1向上し、特徴集約の有効性が裏付けられた。
• 提案されたマッチング損失は、3DFeatNet で用いられる三重損失を2倍の精度で上回り、弱教師あり条件下での汎化性能の優位性を示した。
• ソフト代入における温度ハイパーパrameter $ t $ は顕著な影響を持つ：$ t = 0.5 $ では性能が著しく低下するが、$ t < 0.1 $ では安定した結果が得られ、最適な性能は $ t = 0.1 $ で達成された。