[論文レビュー] ConstructAide: Analyzing and Visualizing Construction Sites through Photographs and Building Models

Kevin Karsch, Mani Golparvar‐Fard+1 more|arXiv (Cornell University)|Dec 24, 2019

3D Surveying and Cultural Heritage参考文献 44被引用数 12

ひとこと要約

ConstructAide は、ユーザー補助型構造からモード（SfM）技術を用いて、無順序な現場写真と 4D ビルディングインフォメーションモデリング（BIM）を一致させる、革新的なシステムである。これにより、最小限のユーザー入力で、写真に近い視覚的描写、4Dナビゲーション、進捗状況の監視、オクルージョン検出が可能となる。特に、空間的に疎なサンプリングと時間的に密集したデータにおいて、従来の SfM 手法に比べて、精度と頑健性に優れている。

ABSTRACT

We describe a set of tools for analyzing, visualizing, and assessing architectural/construction progress with unordered photo collections and 3D building models. With our interface, a user guides the registration of the model in one of the images, and our system automatically computes the alignment for the rest of the photos using a novel Structure-from-Motion (SfM) technique; images with nearby viewpoints are also brought into alignment with each other. After aligning the photo(s) and model(s), our system allows a user, such as a project manager or facility owner, to explore the construction site seamlessly in time, monitor the progress of construction, assess errors and deviations, and create photorealistic architectural visualizations. These interactions are facilitated by automatic reasoning performed by our system: static and dynamic occlusions are removed automatically, rendering information is collected, and semantic selection tools help guide user input. We also demonstrate that our user-assisted SfM method outperforms existing techniques on both real-world construction data and established multi-view datasets.

研究の動機と目的

• 無順序な写真と 3D ビルディングモデルを用いて、正確でインタラクティブな 4D 現場可視化を実現すること。
• 複雑な CAD ソフトウェアへの依存を減らし、ユーザーがモデルをガイドすることで、直感的で写真に近い視覚的描写を提供すること。
• 時間スタンプが付与された画像の間で、進捗状況の監視、ずれの検出、共同アノテーションを支援すること。
• 空間的に疎な状況や時間的に密集した画像集合においても、正確な一致を実現する、頑健でユーザー補助型の SfM 法を開発すること。
• 統合された写真とモデルデータを通じて、実際の状態と計画された状態の可視化を可能にすることで、施設管理を支援すること。

提案手法

• 本システムは、3D メッシュモデルと単一の基準画像間の 2D-3D ポイント対応を利用して、カメラの姿勢を初期化するユーザー補助型 SfM 技術を採用している。
• 再構成の正確性を向上させ、ドリフトを低減するために、ポイントnパノラマおよびバンドル調整問題に対する新しい目的関数を定式化している。
• SfM ポイントクラウドと時間的連続な画像系列を用いて、静的および動的オクルージョンを自動的に検出することで、オクルージョンの除去と現実的な合成を可能にしている。
• 照明や材質などのレンダリングパラメータは BIM データから推定され、実写真の上に写真に近い視覚的描写を生成する。
• セマンティック選択ツールが、関連する建築部材を強調表示することで、ユーザーの入力をガイドし、登録の効率性と正確性を向上させている。
• 1枚の画像で行われたアノテーションや編集は、整列済みのモデルと写真セットを用いて、時間的・空間的に自動で伝搬される。

実験結果

リサーチクエスチョン

• RQ1 ユーザー補助型 SfM 法は、従来の自動手法に比べ、4D BIM と現場写真の一致において、より高い正確性を達成できるか？
• RQ2 SfM ポイントクラウドと時間的連続な画像データを用いて、オクルージョンをどれほど効果的に検出し、除去できるか？
• RQ3 特別な CAD ソフトウェアを必要とせず、最小限のユーザー入力で、どれほど写真に近い視覚的描写を生成できるか？
• RQ4 本システムは、時間スタンプが付与された画像集合において、4D ナビゲーションと進捗状況の監視をどれほど効果的にサポートできるか？
• RQ5 本システムは、現場の空間的サンプリングが疎で、時間的サンプリングが密集している状況でも、頑健な性能を維持できるか？

主な発見

• 提案されたユーザー補助型 SfM 法は、特に空間的に疎なサンプリングの状況において、最先端の技術に比べて再構成誤差が低く、ドリフトも減少している。
• BIM データから照明や材質の性質を正確に推定し、実写真に重ね合わせることで、写真に近い建築の視覚的描写が成功裏に実現された。
• SfM ポイントクラウドと時間的連続な画像解析を用いて、一時的な現場要因（例：機器）によるオクルージョンが検出され、除去された。これにより、可視化の品質が向上した。
• 1枚の画像で行われたアノテーションが、コレクション内の他の画像に自動で伝搬され、共同レビューと進捗状況の追跡が効率的に行えるようになった。
• 本システムは、実際の現場データセットおよび標準的なマルチビューベンチマークの両方で、従来の SfM 手法を上回り、優れた頑健性と正確性を示した。
• 本手法は、カメラが空間的に疎に配置されており、時間的連続なタイムラプスデータが得られるという、建設現場で一般的な状況において特に効果的である。伝統的な SfM は、このような状況では空間的サンプリングの不足により失敗するが、本手法はその問題を克服している。