[論文レビュー] DeepI2P: Image-to-Point Cloud Registration via Deep Classification

Jiaxin Li, Gim Hee Lee|arXiv (Cornell University)|Apr 8, 2021

Robotics and Sensor-Based Localization参考文献 42被引用数 4

ひとこと要約

DeepI2P は、特徴マッチングを回避する新しい画像から点群への登録手法を提案する。この手法は登録を二段階の問題として定式化する：まず、深層ニューラルネットワークを用いてカメラの視野（フリスツム）内にある3次元点を特定し、次に逆投影を用いてカメラの姿勢を最適化する。本手法は、オックスフォード・ロボットカーおよびKITTIデータセットで最先端の性能を達成し、1.65mのRTEと4.14°のRREを記録した。これは、明示的なクロスモダリティ特徴記述子を用いずに、登録が可能であることを示している。

ABSTRACT

This paper presents DeepI2P: a novel approach for cross-modality registration between an image and a point cloud. Given an image (e.g. from a rgb-camera) and a general point cloud (e.g. from a 3D Lidar scanner) captured at different locations in the same scene, our method estimates the relative rigid transformation between the coordinate frames of the camera and Lidar. Learning common feature descriptors to establish correspondences for the registration is inherently challenging due to the lack of appearance and geometric correlations across the two modalities. We circumvent the difficulty by converting the registration problem into a classification and inverse camera projection optimization problem. A classification neural network is designed to label whether the projection of each point in the point cloud is within or beyond the camera frustum. These labeled points are subsequently passed into a novel inverse camera projection solver to estimate the relative pose. Extensive experimental results on Oxford Robotcar and KITTI datasets demonstrate the feasibility of our approach. Our source code is available at https://github.com/lijx10/DeepI2P

研究の動機と目的

• 2次元と3次元のモダリティ間の外観および幾何的差異が著しいため、クロスモダリティ画像から点群への登録の課題に対処すること。
• モダリティ不一致のため失敗しやすい、クロスモダリティ特徴記述子の学習を不要とする。
• 高次元の特徴記述子の保存を避けることでメモリオーバーヘッドを低減し、モバイルおよびロボットプラットフォームへの効率的なデプロイを可能とすること。
• 深層学習によるフリスツム分類と最適化による姿勢推定を統合した、耐障害性の高いエンドツーエンドフレームワークの構築

提案手法

• 画像と点群入力を用いて、各3次元点がカメラの視野内にあるか（内側）か外にあるか（外側）かを分類するため、クロスアテンションモジュールを備えた二本のブランチの畳み込みニューラルネットワークを採用する。
• 分類ネットワークは、各3次元点に対して、その投影が画像の視野内にあるかどうかを示す二値ラベルを出力する。
• 姿勢推定ステージでは、視野内に位置する点の再投影誤差を最小化するという、制約なしの連続最適化問題として問題を定式化する。
• 最適化にはガウス・ニュートン法を用い、予測された視野内点が画像平面と最もよく一致する剛体変換（回転と並進）を求める。
• 本手法は、逆カメラ投影による幾何的整合性に依存するため、特徴マッチングを完全に回避する。
• フレームワークは、初期化、アテンション、点群密度に関するアブレーションスタディを含め、オックスフォード・ロボットカーおよびKITTIデータセットで訓練および評価された。

Figure 2: Our network architecture for the classification problem.

実験結果

リサーチクエスチョン

• RQ1 2次元と3次元モダリティ間で明示的な特徴マッチングを用いずに、クロスモダリティ画像から点群への登録が可能か？
• RQ2 深層学習に基づくフリスツム分類アプローチは、従来の特徴ベースの対応マッチングを効果的に置き換えられるか？
• RQ3 クロスアテンションモジュールの導入が、分類および登録精度にどの程度向上効果をもたらすか？
• RQ4 点群密度の変動および遮蔽の変動に対して、本手法はどの程度耐性を示すか？
• RQ5 二値のフリスツム分類出力からの逆カメラ投影最適化は、信頼性高くカメラの姿勢を回復できるか？

主な発見

• オックスフォード・ロボットカーデータセットにおいて、DeepI2P は1.65mの並進誤差（RTE）および4.14°の回転誤差（RRE）を達成し、優れた登録性能を示した。
• KITTIデータセットでは、5120点の密度でRTEが1.94m、RREが4.63°を記録し、点群密度を低下させても合理的な性能を維持した。
• アブレーションスタディの結果、クロスアテンションモジュールを削除すると、分類精度が98%から80%に著しく低下し、登録誤差（RTE）は6.88mに増加したことが確認された。
• 初期化に対して本手法は耐性があり、初期化数を60から1に減らしても、RTEは1.65mから3.52mにわずかに上昇したにとどまった。
• 点群密度が低下すると性能は低下するが、その低下は穏やかで、密度を元の1/4（20480点から5120点）に減らしても、RTEは1.65mから1.94mにしか上昇しなかった。
• Monodepth2+ICPと比較して、DeepI2P は顕著に優れた性能（RTE: 1.65m 対 8.45m）を示し、特に初期化が不良な状況下でもその耐性が顕著に現れた。

Figure 3: Visualizations of the Gauss-Newton at iteration 0 / 40 / 80 from left to right. Green points are classified as inside image FoV.