[論文レビュー] Structure from Motion for Panorama-Style Videos

Chris Sweeney, Aleksander Holynski+2 more|arXiv (Cornell University)|Jun 8, 2019

Advanced Vision and Imaging参考文献 30被引用数 5

ひとこと要約

本論文は、事前の内部パラメータキャリブレーションが不要なパノラマ風動画撮影向けの新規SfMパイプラインを提示する。カメラの運動を近似的に球面的と仮定することで、基礎行列と歪み推定のための3つの効率的な最小解法を導入し、柔らかい球面運動事前分布を用いたロバストな初期化とバンドル調整を可能にした。その結果、最先端のSfMおよびSLAMシステムが失敗する困難なデータセットにおいても、成功した再構成が達成された。

ABSTRACT

We present a novel Structure from Motion pipeline that is capable of reconstructing accurate camera poses for panorama-style video capture without prior camera intrinsic calibration. While panorama-style capture is common and convenient, previous reconstruction methods fail to obtain accurate reconstructions due to the rotation-dominant motion and small baseline between views. Our method is built on the assumption that the camera motion approximately corresponds to motion on a sphere, and we introduce three novel relative pose methods to estimate the fundamental matrix and camera distortion for spherical motion. These solvers are efficient and robust, and provide an excellent initialization for bundle adjustment. A soft prior on the camera poses is used to discourage large deviations from the spherical motion assumption when performing bundle adjustment, which allows cameras to remain properly constrained for optimization in the absence of well-triangulated 3D points. To validate the effectiveness of the proposed method we evaluate our approach on both synthetic and real-world data, and demonstrate that camera poses are accurate enough for multiview stereo.

研究の動機と目的

• 回転優勢のパノラマ風動画シーケンスで撮影されたシーンの再構成に失敗する従来のSfMおよびSLAMシステムの問題に対処すること。
• 基線が小さく、視差も小さい状況下で、ハンドヘルドで撮影された未キャリブレーション動画シーケンスからの正確な3次元再構成を可能にすること。
• 球面的カメラ運動に特化した最小解法の開発により、RANSACベースのポーズ推定におけるロバスト性と効率性の向上を図ること。
• バンドル調整中にカメラポーズに柔らかい球面運動事前分布を適用し、3次元点の三角測量が不十分な場合でもポーズ制約を維持できること。
• 回復されたカメラポーズを用いて、高品質なマルチビューステレオ再構成が可能であることを実証すること。

提案手法

• 本手法はカメラの運動を近似的に球面的とモデル化することで、相対ポーズ推定における自由度を一般ケースの5から3に削減する。
• 球面運動仮定の下で基礎行列とカメラ歪みを推定するための3つの新規最小解法を導入し、一般解法よりも少ない対応点を要する。
• これらの解法により、RANSACベースの特徴マッチングおよびポーズ推定の高速かつロバストな初期化が可能になる。
• バンドル調整中にカメラポーズに柔らかい球面運動事前分布を適用することで、球面運動からの逸脱を抑制し、三角測量が不十分な状況でも収束性が向上する。
• これらの解法を統合した完全なSfMシステムを構築し、事前のカメラキャリブレーションが不要であり、10–20 Hzのリアルタイム再構成をサポートする。
• GoProおよびGoogle Pixelカメラの合成および実世界のシーケンスを用いて評価し、COLMAP、Theia、ORB-SLAM2と比較した。

実験結果

リサーチクエスチョン

• RQ1 事前のカメラキャリブレーションがなくても、回転優勢のパノラマ風動画シーケンスに対してSfMパイプラインがカメラポーズを正常に再構成できるか？
• RQ2 球面運動モデリングは、基線が小さく回転が強い状況下での相対ポーズ推定のロバスト性と効率性をどのように向上させるか？
• RQ3 3次元点の三角測量が不安定な場合、柔らかい球面運動事前分布はバンドル調整の収束性をどの程度向上させるか？
• RQ4 回復されたカメラポーズは、遠く離れた特徴点やスパarsな特徴点を持つシーンにおいても、高品質なマルチビューステレオ再構成を可能にするか？
• RQ5 既存のSfMおよびSLAMシステムはなぜパノラマ風動画シーケンスで失敗するのか？そして、運動に特化した解法はこれらの制限を克服できるか？

主な発見

• 提案手法は、COLMAP、Theia、ORB-SLAM2が完全に失敗した、顕著な径方向歪みや遠方のシーンポイントを含むすべてのテスト動画シーケンスに対して、カメラポーズの再構成に成功した。
• 本システムは10–20 Hzで再構成を達成し、パノラマ風動画のリアルタイムまたはニアリアルタイム処理が可能になった。
• 3つの新規最小解法は自由度の削減によりRANSAC内での収束が速くなり、効率性とロバスト性が向上した。
• 柔らかい球面運動事前分布により、良好に三角測量された3次元点が得られない状況下でも安定したバンドル調整が可能となり、シーケンス全体にわたるポーズの一貫性が維持された。
• パイプラインから得られた正確なカメラポーズにより、細い物体などの微細構造を含む高品質なマルチビューステレオ再構成が可能になったことが、サブピクセル深度マップによって実証された。
• 本手法により、遠方の特徴が支配的なシーンでも、パララックスを正確にモデル化することで、深度認識可能なパノラマ再構成およびVR対応の3次元シーンが可能になった。