[論文レビュー] Multistage SFM: A Coarse-to-Fine Approach for 3D Reconstruction

Rajvi Shah, Aditya Deshpande+1 more|arXiv (Cornell University)|Dec 19, 2015

Robotics and Sensor-Based Localization参考文献 40被引用数 12

ひとこと要約

本稿では、最初にSIFT特徴量のサブセットを用いて粗い3Dモデルを構築し、その後段階的に残りの画像を局所化し、未検出の特徴量を並列処理ステージでマッチングする、粗いものから細かいものへの構造から運動（SFM）フレームワークを提案する。この手法は、初期の粗いモデルからの幾何的制約を活用することで、標準的なSFMと同等の再構成品質を達成しながら、処理速度と並列性を著しく向上させる。

ABSTRACT

Several methods have been proposed for large-scale 3D reconstruction from large, unorganized image collections. A large reconstruction problem is typically divided into multiple components which are reconstructed independently using structure from motion (SFM) and later merged together. Incremental SFM methods are most popular for the basic structure recovery of a single component. They are robust and effective but are strictly sequential in nature. We present a multistage approach for SFM reconstruction of a single component that breaks the sequential nature of the incremental SFM methods. Our approach begins with quickly building a coarse 3D model using only a fraction of features from given images. The coarse model is then enriched by localizing remaining images and matching and triangulating remaining features in subsequent stages. These stages are made efficient and highly parallel by leveraging the geometry of the coarse model. Our method produces similar quality models as compared to incremental SFM methods while being notably fast and parallel.

研究の動機と目的

• インクリメンタルSFMの逐次的ボトルネックを軽減するため、マルチステージで粗いものから細かいものへの再構成パイプラインを導入すること。
• 初期の粗いモデルからの幾何的制約を活用することで、大規模3D再構成における効率性と並列性を向上させること。
• 知的な特徴量マッチング戦略と画像局所化戦略を用いて、より高速かつ高密度の3D再構成を実現すること。

提案手法

• スケールベースの特徴選択に焦点を当て、SIFT特徴量の一部のみを用いて粗い3Dモデルを構築する。
• 粗いモデルが持つ幾何的制約（点-カメラの可視性、エピポーラ幾何、カメラの角度など）を活用し、以降の段階をガイド・高速化する。
• 後続段階で同時にカメラポーズ推定と画像局所化を実現するため、高速な3D-2Dマッチングを適用する。
• エピポーラ的および可視性制約を用いて画像ペアをフィルタリングし、対応関係の密度を向上させる、幾何学的意識のある特徴量マッチング戦略を実装する。
• 高次元特徴量におけるKdツリーに基づく検索と候補マッチングを効率的に行うために、GPUアクセcelerated並列プリミティブ（例：Thrustライブラリ）を活用する。
• 段階的パイプラインを採用：最初に粗いモデルを構築し、その後残りの特徴量のインクリメンタルな局所化とマッチングを実行することで、高度な並列処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 粗いものから細かいものへのアプローチは、再構成品質を維持しつつ、インクリメンタルSFMの逐次的依存性を低減できるか？
• RQ2 粗いモデルからの幾何的制約は、その後の特徴量マッチングとカメラ局所化の速度と正確性をどの程度向上できるか？
• RQ3 粗いモデルが構築された後に重い計算を延期することで、SFMにおける並列化はどの程度強化できるか？
• RQ4 高速な3D-2Dマッチング技術は、マルチステージSFMパイプラインに効果的に統合可能か？
• RQ5 実世界のデータセットにおいて、提案手法はベースラインSFM手法と比べて処理速度と完全性の両面で優れているか？

主な発見

• 提案されたマルチステージSFM手法は、標準的なSFMと同等の再構成品質を達成しながら、著しく高速かつ並列性に優れている。
• コロンビア大学アーツ・クアッドデータセットでは、170万点の3D点と4,429台のカメラを回復し、ベースラインモデルよりも完全性と詳細性に優れた結果を得た。
• 粗いモデルのおかげで、20％の特徴量サブセットからもグローバル構造が得られ、冗長な計算が削減された。
• GPUアクセcelerated幾何学的意識マッチングアルゴリズムは、CPUベースの手法に比べて顕著な高速化を達成しており、特に高次元特徴空間において顕著であった。
• ベースライン手法が見逃した領域（例：図9の赤枠領域）を効果的に回復したため、完全性の向上が実証された。
• 幾何的制約が利用可能になるまで計算を延期することで、マルチコアおよびGPUリソースの有効活用が可能になった。