[論文レビュー] Plan3D: Viewpoint and Trajectory Optimization for Aerial Multi-View Stereo Reconstruction

Benjamin Hepp, Matthias Nießner+1 more|arXiv (Cornell University)|May 25, 2017

Advanced Vision and Imaging被引用数 26

ひとこと要約

Plan3Dは、フライト時間と衝突制約を満たしつつ情報量の増加を最大化するように視点と軌道を最適化する、マルチローターによる空中3次元再構築のエンドツーエンドシステムを提案する。階層的ボリューム表現と部分集合最適化を用いて、スパarselyかつ高インパクトな視点を選択し、凹所や細部を含む複雑な建物形状の高品質な再構築を実現。従来のパターンや先行研究の最先端手法を上回る性能を発揮する。

ABSTRACT

We introduce a new method that efficiently computes a set of viewpoints and trajectories for high-quality 3D reconstructions in outdoor environments. Our goal is to automatically explore an unknown area, and obtain a complete 3D scan of a region of interest (e.g., a large building). Images from a commodity RGB camera, mounted on an autonomously navigated quadcopter, are fed into a multi-view stereo reconstruction pipeline that produces high-quality results but is computationally expensive. In this setting, the scanning result is constrained by the restricted flight time of quadcopters. To this end, we introduce a novel optimization strategy that respects these constraints by maximizing the information gain from sparsely-sampled view points while limiting the total travel distance of the quadcopter. At the core of our method lies a hierarchical volumetric representation that allows the algorithm to distinguish between unknown, free, and occupied space. Furthermore, our information gain based formulation leverages this representation to handle occlusions in an efficient manner. In addition to the surface geometry, we utilize the free-space information to avoid obstacles and determine collision-free flight paths. Our tool can be used to specify the region of interest and to plan trajectories. We demonstrate our method by obtaining a number of compelling 3D reconstructions, and provide a thorough quantitative evaluation showing improvement over previous state-of-the-art and regular patterns.

研究の動機と目的

• 消費用マルチローターの制限された飛行時間を考慮しつつ、大規模で複雑な建物の高品質な3次元再構築を達成する課題に対処すること。
• 定期的なグリッドパターンや円形飛行パターンの限界を克服すること。これらのパターンは、しばしば遮蔽された領域や凹所を捉えられず、ステレオマッチング品質の最適化が欠如している。
• 初期の粗いスキャンに基づいて、衝突のない、情報量を最大化する視点ツアーを自動的に計画するエンドツーエンドのシステムを構築すること。
• 近似カメラモデルと部分集合最適化を用いることで、計算効率と再構築品質のバランスを図ること。
• 最小限のユーザー介入で建物規模のシーンを自律的にスキャンし、幾何的細部や遮蔽領域のカバーを向上させること。

提案手法

• 未知領域、自由空間、占有領域を区別できる階層的ボリューム表現を用いることで、安全かつ情報に基づいた軌道計画が可能になる。
• 視点選択を部分集合最適化問題として定式化し、情報量の増加（IG）を最大化するとともに移動距離を最小化することで、計算の tractability を確保する。
• 近似カメラモデルを用いることで、各候補視点の寄与を分離可能とし、それぞれの視点について期待されるIGを独立して効率的に計算可能となる。
• 既知の自由空間内での移動制限により、衝突のない軌道を計画し、実行段階での完全な自律性を確保する。
• SfMおよびMVSパイプラインからのドメイン知識（例えば、前面平行視点や最適な基線の選択）を統合し、マッチング品質の向上を図る。
• パイプラインは初期の粗いスキャンを処理し、最適な視点を計算し、最終的な高解像度再構築を標準的なSfMおよびMVSパイプラインで実行する。

実験結果

リサーチクエスチョン

• RQ1 フライト時間と安全制約を満たしつつ、シーンカバレッジと幾何的細部を最大化する空中3次元再構築のための視点ツアーを自動で計画する方法は何か？
• RQ2 近似カメラモデルを用いた部分集合最適化は、定期的パターンと同等またはそれ以上の高品質な再構築を達成できるか、その程度はいかほどか？
• RQ3 初期の粗いスキャンに続く最適化された高解像度撮影を含む2段階スキャンアプローチは、ワンショット法や定期的パターン法と比較して優れた結果をもたらすか？
• RQ4 建物規模のシーンにおける遮蔽領域や、凹所や屋根の下部など複雑な幾何形状は、このシステムがどのように処理するか？
• RQ5 視点計画の影響は、特に細かな幾何的細部とテクスチャ忠実度の観点から、最終的な再構築品質にどのように現れるか？

主な発見

• Plan3Dは、合成シーンおよび実世界のシーンにおいて、定量的評価で定期的グリッドパターンや先行研究の最先端手法を上回り、優れたカバレッジと再構築品質を達成した。
• 従来の上空スキャンパターンでは捉えにくい、凹所、屋根、屋根の下部など複雑な建築的特徴を効果的に再構築した。
• 部分集合最適化と近似カメラモデルを組み合わせることで、高インパクトな視点の計算が効率的に行え、移動距離を短縮しながら未知領域の観測を最大化した。
• 特に屋根の下部など、厳しい照明条件下でも、最終的な再構築において高精細な幾何的およびテクスチャ的詳細を再現した。
• 初期の粗いスキャンに続く最適化された軌道計画を含む2段階アプローチは、ワンフェーズ法や定期的パターン法と比較して著しく優れた再構築結果をもたらしたが、最大60分のオフライン計算を要した。
• ルネサンス期の教会、近代的なオフィスビル、歴史的建造物など多様な環境において、本手法は一貫した再構築品質の向上を示し、強靭性を示した。