[論文レビュー] D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features

Xuyang Bai, Zixin Luo+4 more|arXiv (Cornell University)|Mar 6, 2020

Robotics and Sensor-Based Localization参考文献 38被引用数 27

ひとこと要約

D3Featは、KPConvに基づく完全畳み込みネットワークを用いて、密度に依存しないキーポoin選択戦略と、リアルタイム特徴マッチングを用いた自己教師付き検出器損失を導入することで、エンド・ツー・エンドで高速な推論が可能な、密な3次元局所特徴検出と記述の共同学習フレームワークを提案する。3DMatchおよびKITTIにおいて、特にキーポイント数が少ない場合に優れた再現性と正確性を達成し、最先端の性能を実現した。

ABSTRACT

A successful point cloud registration often lies on robust establishment of sparse matches through discriminative 3D local features. Despite the fast evolution of learning-based 3D feature descriptors, little attention has been drawn to the learning of 3D feature detectors, even less for a joint learning of the two tasks. In this paper, we leverage a 3D fully convolutional network for 3D point clouds, and propose a novel and practical learning mechanism that densely predicts both a detection score and a description feature for each 3D point. In particular, we propose a keypoint selection strategy that overcomes the inherent density variations of 3D point clouds, and further propose a self-supervised detector loss guided by the on-the-fly feature matching results during training. Finally, our method achieves state-of-the-art results in both indoor and outdoor scenarios, evaluated on 3DMatch and KITTI datasets, and shows its strong generalization ability on the ETH dataset. Towards practical use, we show that by adopting a reliable feature detector, sampling a smaller number of features is sufficient to achieve accurate and fast point cloud alignment.[code release](https://github.com/XuyangBai/D3Feat)

研究の動機と目的

• 3次元特徴検出器と記述子の学習の不均衡を解消するため、両者を共同で訓練すること。
• 3次元点群における密度の変動がキーポイント検出に偏見をもたらすという課題を克服すること。
• 地上真値キーポイントアノテーションが不要な自己教師付き損失を提案し、リアルタイム特徴マッチングを活用してキーポイントの信頼性と再現性を向上させること。
• 共有された完全畳み込みアーキテクチャを用いて、検出スコアと記述子の両方を高速かつ密に予測できるようにすること。
• 最小限のキーポイント抽出で、屋内（3DMatch）および屋外（KITTI, ETH）データセットに広く一般化できるようにすること。

提案手法

• KPConvに基づく完全畳み込みネットワークを用いて、非構造化された3次元点群を直接処理し、各点に対して検出スコアと特徴記述子の密な予測を可能にする。
• 異なる点密度の領域でも一貫したキーポイント選択が行えるよう、密度に依存しない局所的重要度スコアを新たに計算する。
• 訓練中にリアルタイムで得られる特徴マッチングの信頼性を活用し、検出スコア予測をガイドする自己教師付き検出器損失を導入する。
• 検出と記述のヘッド間で重みを共有することで、二重ブランチアーキテクチャを用いずに効率的な共同推論を実現する。
• 密度に依存しない局所的重要度変換を適用した後、検出スコアの局所的最大値を用いてキーポイントを選択する。
• 特徴記述子の対照的損失と、提案された自己教師付き検出器損失を組み合わせた総合損失を用いて、エンド・ツー・エンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 分離学習と比較して、3次元特徴検出と記述の共同学習が登録精度を向上させることができるか？
• RQ2 3次元点群における密度変動に対して、キーポイント検出をどのようにして頑健にできるか？
• RQ3 地上真値キーポイントアノテーションがなくても、リアルタイム特徴マッチングに基づく自己教師付き損失が検出器学習を効果的にガイドできるか？
• RQ4 共有された完全畳み込みアーキテクチャは、パッチベースや二重ブランチネットワークと比較して、より高速かつ効率的な推論を可能にするか？
• RQ5 提案手法は、屋内および屋外の多様な3次元データセットに一般化可能か？

主な発見

• D3Featは3DMatchデータセットにおいて最先端の性能を達成し、検出と記述の両面で先行手法を上回った。
• KITTIデータセットでは、D3Featは優れた一般化性能を示し、キーポイント数が少ない場合でも優れた結果を達成し、キーポイント再現性において大多数のベースラインを上回った。
• 提案された自己教師付き検出器損失により収束が可能となり、ベースラインD3Feat(base)と比較してキーポイントの信頼性が向上した。
• 密度に依存しないキーポイント選択戦略は、特にスパースな領域で再現性を顕著に向上させ、低密度領域へのバイアスを低減した。
• 64個のキーポイントのみを用いても、より多くのキーポイントを用いる手法よりも高い登録精度を達成しており、学習された検出器の有効性を示した。
• 可視化結果から、D3Featは複雑な屋内および屋外環境を含む多様なシーンにおいて、より顕著で再現性の高いキーポイントを検出していることが確認された。