[論文レビュー] Trifocal Relative Pose from Lines at Points and its Efficient Solution

Ricardo Fabbri, Timothy Duff+9 more|arXiv (Cornell University)|Mar 23, 2019

Advanced Vision and Imaging参考文献 65被引用数 6

ひとこと要約

本論文は、二つの最小限の三焦点相対姿勢問題（一つの直線を伴う三つの点、および二つの直線を伴う三つの点）を解くために、ホモトピー続行法に基づく新規なソルバー、MINUSを提案する。一般化された数値代数幾何学的手法をこれらの一般的なケースに特化させることで、画像ノイズ下でもロバストで効率的な解法を達成した。特に、最先端のSfMパイプラインが失敗する困難なデータセットにおいても100%の成功率を示した。

ABSTRACT

We present a method for solving two minimal problems for relative camera pose estimation from three views, which are based on three view correspondences of i) three points and one line and the novel case of ii) three points and two lines through two of the points. These problems are too difficult to be efficiently solved by the state of the art Groebner basis methods. Our method is based on a new efficient homotopy continuation (HC) solver framework MINUS, which dramatically speeds up previous HC solving by specializing HC methods to generic cases of our problems. We characterize their number of solutions and show with simulated experiments that our solvers are numerically robust and stable under image noise, a key contribution given the borderline intractable degree of nonlinearity of trinocular constraints. We show in real experiments that i) SIFT feature location and orientation provide good enough point-and-line correspondences for three-view reconstruction and ii) that we can solve difficult cases with too few or too noisy tentative matches, where the state of the art structure from motion initialization fails.

研究の動機と目的

• 均一なテクスチャ、曇り、繰り返しパターンなどのために特徴量が少なく、曇りや曇りがちな状況で、従来の二視点SfMパイプラインが失敗する問題に対処すること。
• 混合点・線特徴を含む三焦点姿勢問題における高次元非線形制約に対して、一般に遅すぎるため実用的でないグレブナー基底法の限界を克服すること。
• 三視点における三つの点と一つまたは二つの直線を含む最小問題を解く実用的で数値的に安定したソルバーを開発し、困難な撮影条件下でも信頼性の高い3次元再構築を可能にすること。
• SIFT特徴量の方向が、三視点間の対応関係を解消するための安定した幾何的属性として機能することを示すこと。

提案手法

• 3P1L（三つの点、一つの直線）および3P2L（三つの点、二つの直線のうち二つが共通点を共有）という二つの最小限の三焦点問題の一般的なケースに特化した、新規なホモトピー続行（HC）ソルバー枠組み、MINUSを導入する。
• 点射影と線対応関係から導かれるパラメトリック方程式を用いて三焦点制約を定式化し、一致しない基準点を扱えるように平行移動項を組み込む。
• 線対応関係の制約を、基本行列の小行列を用いて表現することで、14個の未知数と64本の多項方程式の系に問題を還元する。
• 一般のグレブナー基底法が計算的に非現実的であるのを避けるために、数値代数幾何学的手法を活用して、得られた方程式系を効率的に解く。
• 対応関係の解消を向上させるために、SIFT特徴量の方向を安定した幾何的属性として統合する。
• 画像ノイズ下でのシミュレーション実験と、困難なデータセットを用いた実世界のテストを通じて、ソルバーのロバスト性を検証する。

実験結果

リサーチクエスチョン

• RQ1 点と線を含む最小限の三焦点相対姿勢問題（3P1L）を、数値代数幾何学的手法を用いて、効率的かつロバストに解くことは可能か？
• RQ2 3P1Lおよび3P2Lの最小問題における実数解の数は何か？また、ノイズや退化状態下での挙動はいかなるものか？
• RQ3 SIFT特徴量の方向は、三視点再構築における対応関係の解消に信頼できる幾何的属性として機能するか？
• RQ4 提案されたMINUSソルバーは、特徴量が少なく、曇りや曇りがちな状況下で、COLMAPのような既存のSfMパイプラインを上回る性能を示すか？
• RQ5 このフレームワークは、曲線や混合特徴を含む、他の困難な最小問題に対しても一般化可能か？

主な発見

• 3P1Lおよび3P2L問題は、一般的な配置においてそれぞれ12および16個の実数解を持つことが判明し、数値続行法によって解の数が検証された。
• シカゴデータセットにおいて、MINUSソルバーは回転誤差0.137°、並進誤差0.673°を達成し、回転精度において他の三焦点手法を上回った。
• EPFLおよびアムステルダム・ティーハウスデータセットでは、COLMAPが完全に失敗した20組のトリプレットのうち10組で、本手法が正しく姿勢を推定した（標準パイプライン比で100%の改善）。
• 画像ノイズ下でも数値的にロバストであり、極限的に解けない構成でも安定した性能を維持した。
• 実験により、SIFT特徴量の位置と方向が、特徴量が少なく、曇りがちな状況下でも、信頼性の高い三視点再構築に十分な情報を提供することが確認された。
• 本ソルバーはOpenMVG SfMパイプラインに部分統合されており、COLMAPへの統合を検討中であり、実用的価値が裏付けられた。