[論文レビュー] Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence

Dylan Campbell, Lars Petersson+2 more|arXiv (Cornell University)|Sep 27, 2017

Robotics and Sensor-Based Localization参考文献 43被引用数 8

ひとこと要約

本稿では、SE(3)空間における分枝限定法を用いて、初期姿勢や対応関係が与えられない状況下でも、同時にカメラの姿勢推定と2D-3D特徴対応をグローバル最適に解く手法を提案する。特筆すべきは、インライアーデータ数に対する幾何的境界を新たに導出したことである。本手法は姿勢事前分布を必要とせず、合成データおよび実世界のデータセット（弱い対応関係を有する大規模な屋外シーンを含む）において、局所的およびグローバルなベースラインを上回る性能を示す。

ABSTRACT

Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D point-set is an important task for many computer vision applications. Perspective-n-Point (PnP) solvers are routinely used for camera pose estimation, provided that a good quality set of 2D-3D feature correspondences are known beforehand. However, finding optimal correspondences between 2D key-points and a 3D point-set is non-trivial, especially when only geometric (position) information is known. Existing approaches to the simultaneous pose and correspondence problem use local optimisation, and are therefore unlikely to find the optimal solution without a good pose initialisation, or introduce restrictive assumptions. Since a large proportion of outliers are common for this problem, we instead propose a globally-optimal inlier set cardinality maximisation approach which jointly estimates optimal camera pose and optimal correspondences. Our approach employs branch-and-bound to search the 6D space of camera poses, guaranteeing global optimality without requiring a pose prior. The geometry of SE(3) is used to find novel upper and lower bounds for the number of inliers and local optimisation is integrated to accelerate convergence. The evaluation empirically supports the optimality proof and shows that the method performs much more robustly than existing approaches, including on a large-scale outdoor data-set.

研究の動機と目的

• 初期姿勢や対応関係が与えられない状況下で、同時にカメラの姿勢と2D-3D特徴対応関係を推定する課題に対処すること。
• 局所最適化手法が局所的極小に陥りやすく、良い初期化がなければ失敗するという限界を克服すること。
• 姿勢事前分布を必要とせず、真の最適解に収束することが保証されるグローバル最適な解法を開発すること。
• トリムムエラー関数の最小化ではなく、インライアーデータ集合のサイズを最大化することで、外れ値に対してより高いロバスト性を実現すること。
• テクスチャが乏しい大規模な3次元シーンにおいて、幾何的情報のみを用いて信頼性の高いカメラ再局所化を可能にすること。

提案手法

• 6次元のSE(3)カメラ姿勢空間における分枝限定フレームワークを採用することで、グローバル最適性を保証する。
• SE(3)の幾何構造を活用して、インライアーデータ数に対する新たな上界および下界を導出し、非効率な領域の効果的な pruning を可能にする。
• 探索中に有効な分岐と境界計算が行えるように、SE(3)のパラメータライゼーションを採用する。
• 各ステップでより良い変換が見つかった場合には局所最適化を統合することで、最適性保証を損なわずに収束を加速する。
• 特に直方体ベースの境界関数 ψr および ψt、およびグローバル境界 Γ を用いて、探索空間を効率的に縮小する。
• インライアーデータの閾値として θ = 2° を設定し、インライアーデータ数の最大化によって2Dおよび3Dの外れ値を自然に扱う。

実験結果

リサーチクエスチョン

• RQ1 姿勢事前分布を必要とせず、同時にカメラの姿勢と対応関係を推定する問題に対して、グローバル最適な解が達成可能か？
• RQ2 SE(3)の幾何的構造を活用して、インライアーデータ数に対するタイトな境界をどのように導出できるか？
• RQ3 誤差最小化手法と比較して、インライアーデータ数の最大化はロバスト性および最適性の観点で優れているか？
• RQ4 弱いもしくは曖昧な対応関係を有する実世界の大規模な屋外データセットにおいて、本手法はどのように性能を発揮するか？
• RQ5 局所最適化手法が初期化が悪く、外れ値率が高い場合に失敗する状況でも、本手法は真のカメラ姿勢を信頼性高く回復できるか？

主な発見

• GOPACは、Data61/2D3Dデータセットにおいて全フレームで100%のインライアーリコールと100%の正解姿勢到達率を達成し、RANSACや局所最適化手法を上回った。
• 中央値の並進誤差は2.30 m、回転誤差は2.08°であり、計算コストは高いが高い精度を示した。
• 制限付きGOPAC（30秒）では成功率が僅か45%にとどまり、最適解に到達するには完全なグローバル探索が必要であることが示された。
• 2000万回および2億8000万回の反復を要したRANSACも、いかなるフレームでも正解姿勢に収束せず、回転誤差は約180°に近かった。
• SoftPOSITおよびBlindPnPは、真値の姿勢を事前知識として与えても、カメラの後方にある3次元点を処理できず、パノラマ画像に対応できなかったため、全画像で失敗した。
• 真値が利用可能なすべてのケースで、本手法は真の最適解を正しく特定でき、弱い対応関係や高い外れ値率に対してもロバストであることが実証された。