[論文レビュー] 3D Reconstruction from Full-view Fisheye Camera

Chuiwen Ma, Liang Shi+2 more|arXiv (Cornell University)|Jun 20, 2015

Advanced Vision and Imaging参考文献 3被引用数 20

ひとこと要約

本稿では、球面カメラモデルとエピポーラ幾何学を用いた全周フィッシュアイカメラ向け3D再構築手法を提案する。複数枚のRicoh Theta画像からスパarselyおよびデュースリー再構築を可能にする。手動で選定した点対応、SIFTマッチングにRANSACフィルタリングを組み合わせ、インタラクティブ可視化を可能にするGUIを統合し、現実世界の構造を保持する高精度な3Dシーン再構築を実現した。

ABSTRACT

In this report, we proposed a 3D reconstruction method for the full-view fisheye camera. The camera we used is Ricoh Theta, which captures spherical images and has a wide field of view (FOV). The conventional stereo apporach based on perspective camera model cannot be directly applied and instead we used a spherical camera model to depict the relation between 3D point and its corresponding observation in the image. We implemented a system that can reconstruct the 3D scene using captures from two or more cameras. A GUI is also created to allow users to control the view perspective and obtain a better intuition of how the scene is rebuilt. Experiments showed that our reconstruction results well preserved the structure of the scene in the real world.

研究の動機と目的

• 標準的な透視カメラモデルでは処理できない極端な径方向歪みを有する全周フィッシュアイカメラからの正確な3D再構築を可能にすること。
• 3D点を単位球面に射影し、その後垂直に画像平面に射影する球面カメラモデルを構築すること。
• フィッシュアイカメラのための改訂版エピポーラ幾何学および基本行列推定法を確立し、三角測量とカメラポーズ回復を支援すること。
• 点対応と視差マッピングを用いてスパarselyおよびデュースリー再構築パイプラインを実装すること。
• 複数枚のフィッシュアイ画像から得られる360°再構築シーンをインタラクティブに探索可能なGUIを構築すること。

提案手法

• 3D点を単位球面に射影し、固定された焦点距離を有する径方向射影モデルを用いて画像平面に垂直に射影する球面カメラモデルを提案する。
• 球面モデルに基づきフィッシュアイカメラのエピポーラ幾何学を導出することで、点対応から基本行列を計算可能にする。
• 手動でラベル付けされた真値点対を用いて基本行列を推定し、その結果をSIFT特徴量マッチングのフィルタリングに用い、外れ値を低減する。
• RANSACを用いて基本行列を精緻化し、信頼度の高いSIFTマッチングをプールに追加することで、より高密度な再構築を実現する。
• 等距離円筒から立方体へのマッピングを用いて画像を補正し、対応する点が同じ経度上に一致するように整列させ、従来のステレオ視差計算を可能にする。
• 補正済み画像上で相関ベースの手法を用いて視差マップを生成し、デュースリー3D再構築に使用したが、残存歪みにより視差マップにノイズが発生した。

実験結果

リサーチクエスチョン

• RQ1 180°の視野角を持つ全周フィッシュアイ画像において、球面カメラモデルは3D点の射影をどれほど正確に表現できるか？
• RQ2 フィッシュアイステレオシステムにおけるロバストな基本行列推定と三角測量を実現するためには、エピポーラ幾何学にどのような修正が必要か？
• RQ3 SIFT特徴量マッチングはフィッシュアイ画像の3D再構築に有効に利用可能か？また、真値基本行列をフィルタとして用いることで、その性能はどのように向上するか？
• RQ4 補正処理と視差マッピングを用いても残存歪みが残る状況下で、どれほど高密度な3D再構築が達成可能か？
• RQ5 複数枚のフィッシュアイ画像から得られる360°再構築シーンをインタラクティブに探索可能なユーザーフレンドリーなGUIは、どのように設計可能か？

主な発見

• 手動で選定した対応点と真値基本行列を用いたスパarsely 3D再構築は、現実世界のシーン構造とよく一致する正確な結果をもたらした。
• 真値基本行列でフィルタリングされたSIFTマッチングを統合することで、幾何学的整合性を保ちつつ再構築の密度が著しく向上した。
• 画像補正後に視差マップを生成した結果、デュースリー再構築は成功したが、残存歪みが視差マップにノイズをもたらした。
• GUIにより、複数枚の360°画像に対する視点のインタラクティブ制御が可能となり、再構築された3Dシーンの直感的把握が向上した。
• 壁や天井などの構造的特徴が明確な屋内シーンでは、本手法はロバストに動作したが、繰り返し模様が多い外景や基準基準差が大きい場面ではSIFTマッチングの性能が低下した。
• 最大6台のカメラまでカメラポーズ（回転と位置）を正確に推定でき、一貫性のあるアライメントを実現したマルチビュー再構築が可能となった。