[论文解读] ConstructAide: Analyzing and Visualizing Construction Sites through Photographs and Building Models

Kevin Karsch, Mani Golparvar‐Fard+1 more|arXiv (Cornell University)|Dec 24, 2019

3D Surveying and Cultural Heritage参考文献 44被引用 12

一句话总结

ConstructAide 是一种新颖的系统，通过用户辅助的运动恢复结构（SfM）技术，将无序的施工现场照片与4D建筑信息模型（BIM）对齐，实现逼真的视觉效果、4D导航、进度监控和遮挡检测，且用户输入极少。该系统在准确性和鲁棒性方面优于现有SfM方法，尤其在稀疏空间采样和密集时间数据条件下表现更优。

ABSTRACT

We describe a set of tools for analyzing, visualizing, and assessing architectural/construction progress with unordered photo collections and 3D building models. With our interface, a user guides the registration of the model in one of the images, and our system automatically computes the alignment for the rest of the photos using a novel Structure-from-Motion (SfM) technique; images with nearby viewpoints are also brought into alignment with each other. After aligning the photo(s) and model(s), our system allows a user, such as a project manager or facility owner, to explore the construction site seamlessly in time, monitor the progress of construction, assess errors and deviations, and create photorealistic architectural visualizations. These interactions are facilitated by automatic reasoning performed by our system: static and dynamic occlusions are removed automatically, rendering information is collected, and semantic selection tools help guide user input. We also demonstrate that our user-assisted SfM method outperforms existing techniques on both real-world construction data and established multi-view datasets.

研究动机与目标

• 通过无序照片和3D建筑模型，实现对施工现场的高精度、交互式4D可视化。
• 通过用户引导的模型对齐实现直观的逼真视觉效果，减少对复杂CAD软件的依赖。
• 支持施工进度监控、偏差检测以及跨时间戳图像的协作注释。
• 开发一种鲁棒的用户辅助SfM方法，提升稀疏和密集图像集合中的对齐精度。
• 通过整合照片与模型数据，实现对实际建造状态与计划状态的可视化，支持设施管理。

提出的方法

• 该系统采用用户辅助的SfM技术，利用3D网格模型与单张参考图像之间的2D-3D点对应关系，初始化相机位姿。
• 为点-全景和捆绑调整问题提出新颖的目标函数，以提高重建精度并减少漂移。
• 通过SfM点云和时间序列图像，自动检测静态和动态遮挡，实现遮挡移除和逼真合成。
• 从BIM数据中推断光照和材质等渲染参数，生成叠加在真实照片上的逼真视觉效果。
• 语义选择工具通过高亮相关建筑构件引导用户输入，提升配准效率与精度。
• 在一张图像上进行的注释和编辑，通过对齐的模型与图像集自动传播至时间和空间中的其他图像。

实验结果

研究问题

• RQ1 用户辅助的SfM方法是否能在将施工现场照片与4D BIM对齐方面，实现比现有自动技术更高的精度？
• RQ2 能否有效利用SfM点云和时间序列图像数据检测并移除遮挡？
• RQ3 在极少用户输入且无需专用CAD软件的条件下，能否实现高质量的逼真视觉效果？
• RQ4 该系统在时间戳图像集合中是否能有效支持4D导航与进度监控？
• RQ5 在施工现场稀疏空间采样和密集时间采样条件下，系统能否保持鲁棒性能？

主要发现

• 所提出的用户辅助SfM方法在稀疏空间采样场景下，相比最先进技术，重建误差更低，漂移更小。
• 系统通过从BIM数据中准确推断光照与材质属性，并将其与真实照片合成，成功实现了逼真的建筑视觉效果。
• 利用SfM点云和时间序列图像分析，成功检测并移除了由临时现场设备等引起的遮挡，显著提升了视觉质量。
• 在一张图像上添加的注释可自动传播至图像集合中的其他图像，支持高效的协作审查与进度追踪。
• 该系统在真实施工现场数据集和标准多视角基准测试中，均优于现有SfM方法，展现出更高的鲁棒性与精度。
• 该方法在仅少数空间分布相机的时间序列数据中表现尤为出色，这是施工现场的常见场景，而传统SfM因采样稀疏而失效。