[論文レビュー] Learning 2D-3D Correspondences To Solve The Blind Perspective-n-Point Problem

Liu Liu, Dylan Campbell+4 more|arXiv (Cornell University)|Mar 15, 2020

Robotics and Sensor-Based Localization参考文献 31被引用数 14

ひとこと要約

本論文は、2D–3D対応関係と6-DoFカメラポーズを同時に推定する深層学習アプローチを提案する。盲目的PnP問題において、特徴抽出に2ストリームのPointNetベースネットワークを用い、最適輸送を用いたグローバルマッチングモジュールで対応関係のスコアを算出し、インライアーフィルタリング用の分類ヘッドを備える。本手法は、先行手法と比較して最先端の精度を達成し、100倍以上の高速化を実現し、1秒間に数千ポイントをエンドツーエンドで処理可能である。

ABSTRACT

Conventional absolute camera pose via a Perspective-n-Point (PnP) solver often assumes that the correspondences between 2D image pixels and 3D points are given. When the correspondences between 2D and 3D points are not known a priori, the task becomes the much more challenging blind PnP problem. This paper proposes a deep CNN model which simultaneously solves for both the 6-DoF absolute camera pose and 2D--3D correspondences. Our model comprises three neural modules connected in sequence. First, a two-stream PointNet-inspired network is applied directly to both the 2D image keypoints and the 3D scene points in order to extract discriminative point-wise features harnessing both local and contextual information. Second, a global feature matching module is employed to estimate a matchability matrix among all 2D--3D pairs. Third, the obtained matchability matrix is fed into a classification module to disambiguate inlier matches. The entire network is trained end-to-end, followed by a robust model fitting (P3P-RANSAC) at test time only to recover the 6-DoF camera pose. Extensive tests on both real and simulated data have shown that our method substantially outperforms existing approaches, and is capable of processing thousands of points a second with the state-of-the-art accuracy.

研究の動機と目的

• 2D–3D対応関係が事前に未知であるという挑戦的な盲的なPnP問題に対処する。
• 順序のない2Dおよび3Dポイント集合から、2D–3D対応関係と6-DoFカメラポーズを同時に回帰する深層学習フレームワークを構築する。
• ポーズ事前分布や全探索に依存する従来の幾何学的アプローチの限界を克服し、初期化に敏感でかつ遅い問題を解消する。
• 深層特徴学習と微分可能なマッチングを活用して、遮蔽や外れ値が存在する複雑なシーンでもリアルタイムかつ高精度なカメラポーズ推定を実現する。
• 合成データおよび実世界データセットにおいて、既存手法を上回る精度と推論速度を達成するエンドツーエンドで学習可能なモデルを提供する。

提案手法

• 2ストリームのPointNetにインspiredしたネットワークが、2D画像キーポイントと3Dシーンポイントを別々に処理し、局所的幾何構造とグローバルコンテキストをエンコードするポイントワイドな深層特徴を抽出する。
• グローバル特徴マッチングモジュールが、最適質量輸送（OMT）を用いて、すべての2D–3Dポイントペア間のマッチング可能性行列を計算し、微分可能なSinkhorn層を介して対応関係の確率をモデル化する。
• マッチング可能性行列を信頼度順にソートし、候補対応関係の優先順位リストを生成する。
• 優先順位リストにインライア分類CNNを適用し、外れ値をフィルタリングして対応関係の品質を向上させる。
• テスト時、フィルタリングされたインライアーマッチングを用いて標準的なP3P-RANSACソルバーで最終的なカメラポーズを回復する。
• ネットワーク全体を、真のインライアーペアのマッチング確率を最大化する損失関数を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 2D–3D対応関係やポーズ事前分布が与えられていない状況下でも、深層ニューラルネットワークが盲的なPnP問題において2D–3D対応関係と6-DoFカメラポーズを同時に推定可能か？
• RQ2 2ストリーム特徴抽出ネットワークは、クロスモーダルマッチングに適した判別的な局所的およびグローバル幾何的構造を効果的に捉えられるか？
• RQ3 微分可能な最適輸送を用いて、妥当な2D–3Dマッチングを優先するソフトな対応関係行列を学習可能か？
• RQ4 マッチング可能性行列に依存するのみではなく、事後処理の分類ヘッドを導入することで、インライア検出の正確性が向上するか？
• RQ5 提案手法は、高精度とリアルタイム性能を両立でき、従来の幾何学的アプローチに比べて速度と頑健性で優れるか？

主な発見

• 提案手法は、合成データ（ModelNet40, NYU-RGBD）および実世界データ（MegaDepth）の両方で最先端の精度を達成し、既存の盲的なPnP手法を顕著に上回る。
• MegaDepthデータセットにおいて、外れ値比率が高い状況下で、SoftPOSITおよびGOSMAと比較して、回転誤差を50%以上、並進誤差を60%以上低減した。
• 1秒間に1,000ポイント以上を処理可能であり、次に速いベースライン（GOSMA）と比較して100倍以上の高速化を達成した。GOSMAはしばしば1回のアライメントに数分を要する。
• エンドツーエンド学習スキームにより、多様なシーンや点群密度の変動に対しても、顕著な一般化性能を示し、著しい遮蔽やノイズ下でも安定している。
• アブレーションスタディにより、グローバルマッチングモジュールとインライア分類ヘッドの両方が高い性能を発揮するために不可欠であることが確認され、後者は誤検出を最大40%まで低減した。
• RANSACベースの手法がサンプリング不足により失敗するような低インライア比率（例：0.1%）でも、本手法は有効に機能し、優れた頑健性を示した。