[論文レビュー] A Minimal Closed-Form Solution for Multi-Perspective Pose Estimation using Points and Lines

Pedro Miraldo, Tiago Dias+1 more|arXiv (Cornell University)|Jul 26, 2018

Advanced Vision and Imaging被引用数 6

ひとこと要約

本稿では、点と線のハイブリッド2D-3D対応関係を用いたマルチピアスチャネルカメラポーズ推定のための最初の最小限の閉形式解を提示する。2つのソルバーを提案する：1つは2点と1本の線（4次方程式を生じさせ、閉形式解を有する）で、もう1つは1点と2本の線（8次方程式を生じさせ、反復的解法を必要とする）で、自動運転のようなノイズが多く、動的である環境でも高い計算効率と頑健性を達成する。

ABSTRACT

We propose a minimal solution for pose estimation using both points and lines for a multi-perspective camera. In this paper, we treat the multi-perspective camera as a collection of rigidly attached perspective cameras. These type of imaging devices are useful for several computer vision applications that require a large coverage such as surveillance, self-driving cars, and motion-capture studios. While prior methods have considered the cases using solely points or lines, the hybrid case involving both points and lines has not been solved for multi-perspective cameras. We present the solutions for two cases. In the first case, we are given 2D to 3D correspondences for two points and one line. In the later case, we are given 2D to 3D correspondences for one point and two lines. We show that the solution for the case of two points and one line can be formulated as a fourth degree equation. This is interesting because we can get a closed-form solution and thereby achieve high computational efficiency. The later case involving two lines and one point can be mapped to an eighth degree equation. We show simulations and real experiments to demonstrate the advantages and benefits over existing methods.

研究の動機と目的

• 監視、自動運転車両、モーショングラブなどに一般的なマルチピアスチャネルカメラシステムにおける、ハイブリッド点線ポーズ推定のための最小限のソルバーの欠如に応えること。
• 点と線の両方を活用することで、スパarselyまたは混合された特徴しか利用できないノイズが多く、外れ値の影響を受ける環境における頑健性を向上させる最小限の解法を開発すること。
• 2点1線のケースに対して閉形式解を提供することで、類似問題における既存の反復的メソッドとは対照的に、高い計算効率を実現すること。
• 3カメラのマルチピアスチャネルシステムを用いた実世界のパス再構築を通じて、本手法の実用的有用性を示すこと。
• 既存の中心カメラ向け最小限のソルバーを、ハイブリッド特徴タイプを統合することでマルチピアスチャネルシステムに一般化し、柔軟性と頑健性を向上させること。

提案手法

• 剛体的に接続されたパースペクティブカメラの集合としてマルチピアスチャネルカメラをモデル化し、すべての視点で統一されたポーズ推定を可能にする。
• 2点1線のケースを、2D-3D対応関係の代数的変形により4次多項式方程式に定式化し、根の探索による閉形式解法を可能にする。
• 1点2線のケースを8次多項式方程式にマッピングし、代数的複雑性の高さのため反復的ソルバーを必要とする。
• 外れ値の存在下でも頑健にポーズを推定するため、30%のインライアーチェックを用いたRANSACを採用し、閉形式ソルバーの効率を活用する。
• 個々のカメラをMATLABキャリブレーションツールボックスを用いてキャリブレーションし、CADモデルからのシステムレベル変換を適用してマルチカメラデータを整合させる。
• VisualSFMから得られる点対応と、Line3D++から得られる線対応を統合し、実際のマルチカメラシーケンスからエンドツーエンドの3次元パス再構築を実現する。

実験結果

リサーチクエスチョン

• RQ1 2D-3D点および線の対応関係を用いたマルチピアスチャネルカメラポーズ推定のための最小限の閉形式解を導出可能か？
• RQ2 マルチピアスチャネルシステムにおけるハイブリッド点線ソルバーの代数的複雑性は、純粋に点または線に基づくソルバーと比べてどのように異なるか？
• RQ3 ノイズが多く、動的である条件下で、ハイブリッド特徴（点と線）を用いることで、頑健性および正確性にどの程度の向上が得られるか？
• RQ4 提案されたソルバーは、実世界のマルチカメラパス推定タスクにおいて、点のみまたは線のみを用いる既存の最小限のソルバーを上回る性能を示せるか？
• RQ5 2点1線のケースにおける閉形式解法は、反復的代替手法よりも計算的に効率的であり、実際の応用においても高い正確性を維持できるか？

主な発見

• 2点1線のケースは4次多項式方程式を生じさせ、高い計算効率を実現する閉形式解法を可能にする。
• 1点2線のケースは8次多項式方程式を生じさせ、反復的メソッドを必要とするが、依然としてこのハイブリッド構成の最小限のソルバーを提供する。
• 3カメラシステムを用いた実世界実験では、点のみまたは線のみを用いるソルバーと比較して、本手法は顕著に低い回転誤差および並進誤差を達成した。
• RANSACの閾値を元の値の50%から150%まで変化させても、本手法は一貫した正確性と安定性を維持した。
• 606枚の屋外画像を用いたパス再構築では、2230個の3次元点と5814本の3次元線を用い、提案されたソルバーは既存手法と同等またはそれ以上の結果を出力し、再構築された軌道の忠実度が非常に高かった。
• 提案されたソルバーは最先端の中心カメラソルバーを一般化しており、すべてのカメラが整合している場合、ハイブリッド点と線のための最良-knownパースペクティブカメラソルバーと同じ解を回復する。