[論文レビュー] 2D3D-MatchNet: Learning to Match Keypoints Across 2D Image and 3D Point Cloud

Mengdan Feng, Sixing Hu+2 more|arXiv (Cornell University)|Apr 22, 2019

Robotics and Sensor-Based Localization参考文献 32被引用数 5

ひとこと要約

本論文は、視覚的ポーズ推定のための直接的な2D-3Dキーポoinマッチングを可能にする、2D画像と3Dポイントクラウドのキーポイント記述子を共同で学習する深層学習フレームワーク、2D3D-MatchNetを提案する。新たに作成された大規模なオックスフォード2D-3Dパッチズデータセットを用いて訓練することで、オックスフォードRobotCarデータセットにおいて平均1.41mおよび6.40°の誤差を達成し、SOTAの局所化性能を実現した。これにより、LiDARから得られる3Dマップを用いた頑健なカメラポーズ推定が可能になった。

ABSTRACT

Large-scale point cloud generated from 3D sensors is more accurate than its image-based counterpart. However, it is seldom used in visual pose estimation due to the difficulty in obtaining 2D-3D image to point cloud correspondences. In this paper, we propose the 2D3D-MatchNet - an end-to-end deep network architecture to jointly learn the descriptors for 2D and 3D keypoint from image and point cloud, respectively. As a result, we are able to directly match and establish 2D-3D correspondences from the query image and 3D point cloud reference map for visual pose estimation. We create our Oxford 2D-3D Patches dataset from the Oxford Robotcar dataset with the ground truth camera poses and 2D-3D image to point cloud correspondences for training and testing the deep network. Experimental results verify the feasibility of our approach.

研究の動機と目的

• 視覚的ポーズ推定において、画像と3Dポイントクラウドの間で直接的な2D-3Dキーポイントマッチングが可能な仕組みの欠如に対処すること。
• 高精度なLiDARで生成された3Dマップを視覚的局所化に活用できるように、互換性のある記述子を学習すること。
• SfMベースの3Dマップが抱えるスケールの不確かさやノイズの多い再構成といった制限を、LiDARデータを活用することで克服すること。
• トレーニングとベンチマークのための、大規模かつ高品質な2D-3Dキーポイント対応データセットを構築すること。
• 2Dパッチと3Dポイントクラウドボリュームの両方の記述子を共同で最適化するエンドツーエンドの深層ネットワークを開発すること。

提案手法

• 本手法は、類似する2D-3Dキーポイント対の記述子距離を小さくし、非類似対の距離を大きくするように学習する、三重項に類似した深層ネットワークを用いる。
• 2D画像にはSIFT、3DポイントクラウドにはISSを用いてキーポイントを抽出し、画像パッチと局所的な3Dポイントクラウドボリュームを入力表現として用いる。
• ネットワークは、432,982組の真の2D-3Dキーポイント対を含む、新たに作成されたオックスフォード2D-3Dパッチズデータセットで訓練される。
• 推論時、2D画像パッチおよび3Dポイントクラウドボリュームの両方の記述子が生成され、直接的な2D-3Dマッチングが可能になる。
• 最終的なカメラポーズは、EPnPアルゴリズムを用いて、マッチングされた2D-3D対応から計算される。
• ドメイン間での識別的記述子学習を促進するために、コントラスト型損失を用いてネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、画像と3Dポイントクラウドのモダリティをまたいで、直接的な2D-3Dキーポイントマッチングを可能にする統合記述子を効果的に学習できるか？
• RQ2 大規模な都市環境の1回の走行データで学習した場合、未知の環境へも一般化可能か？
• RQ3 記述子次元の選択が、2D-3Dマッチングにおける局所化精度と一般化性能に与える影響は何か？
• RQ4 学習された2D-3D記述子と組み合わせた場合、LiDARから得られる3Dポイントクラウドを視覚的ポーズ推定におけるリファレンスマップとして効果的に利用できるか？
• RQ5 木や平らな壁といったシーン固有の課題が、2D-3Dマッチングプロセスの頑健性に与える影響は何か？

主な発見

• 本手法は、全テストセットの40%のフレームを局所化に成功させ、128次元の記述子出力で1,000フレーム中625フレームが正しく局所化された。
• オックスフォードRobotCarデータセットの全テストセットを用いた場合、平均移動誤差は1.41m、平均回転誤差は6.40°であった。
• 128次元の記述子が、精度と一般化性能のバランスが最良であり、64次元および256次元のバージョンを上回った。
• モデルは未知の領域に対しても良好に一般化され、サブマップテストの結果は全テストセットとほぼ同等であり、強い頑健性を示した。
• 局所化の失敗は、主に木が密集したシーン（誤検出キーポイントが原因）および平らな壁領域（3Dキーポイントが不足）で発生し、ドメイン固有の制限が顕在化した。
• 定性的な可視化では、予測された2D-3D対応が真値のポーズとよく一致しており、学習された記述子の有効性が確認された。