[论文解读] BundleFusion: Real-time Globally Consistent 3D Reconstruction using On-the-fly Surface Re-integration

Angela Dai, Matthias Nießner+3 more|arXiv (Cornell University)|Apr 5, 2016

Robotics and Sensor-Based Localization参考文献 55被引用 91

一句话总结

BundleFusion 提出了一种实时、端到端的3D重建框架，通过采用分层的稀疏-稠密优化策略，持续优化相机位姿，实现了全局一致、高质量的扫描。该方法支持实时捆绑调整，可在跟踪失败后实现鲁棒的重定位，并支持实时表面重新整合，其重建质量与离线方法相当，同时能够在交互速率下完成大规模室内场景的扫描。

ABSTRACT

Real-time, high-quality, 3D scanning of large-scale scenes is key to mixed reality and robotic applications. However, scalability brings challenges of drift in pose estimation, introducing significant errors in the accumulated model. Approaches often require hours of offline processing to globally correct model errors. Recent online methods demonstrate compelling results, but suffer from: (1) needing minutes to perform online correction preventing true real-time use; (2) brittle frame-to-frame (or frame-to-model) pose estimation resulting in many tracking failures; or (3) supporting only unstructured point-based representations, which limit scan quality and applicability. We systematically address these issues with a novel, real-time, end-to-end reconstruction framework. At its core is a robust pose estimation strategy, optimizing per frame for a global set of camera poses by considering the complete history of RGB-D input with an efficient hierarchical approach. We remove the heavy reliance on temporal tracking, and continually localize to the globally optimized frames instead. We contribute a parallelizable optimization framework, which employs correspondences based on sparse features and dense geometric and photometric matching. Our approach estimates globally optimized (i.e., bundle adjusted) poses in real-time, supports robust tracking with recovery from gross tracking failures (i.e., relocalization), and re-estimates the 3D model in real-time to ensure global consistency; all within a single framework. Our approach outperforms state-of-the-art online systems with quality on par to offline methods, but with unprecedented speed and scan completeness. Our framework leads to a comprehensive online scanning solution for large indoor environments, enabling ease of use and high-quality results.

研究动机与目标

• 解决大规模室内场景中实时、全局一致3D重建的挑战。
• 克服在线RGB-D扫描系统中常见的位姿漂移与跟踪失败问题。
• 在实时性能与完整性保障下，实现高质量、稠密的体积化重建。
• 通过隐式求解全局一致性，消除对离线处理或显式回环检测的需求。
• 支持在扫描过程中实现鲁棒的重定位与持续的模型优化。

提出的方法

• 采用分层、可并行化的优化框架，结合稀疏SIFT特征与稠密的几何/光照对应关系。
• 通过局部到全局的方式，综合考虑整个RGB-D输入历史，实现实时、全局优化的位姿估计。
• 先利用稀疏特征匹配进行粗粒度的全局位姿估计，再通过稠密匹配进行精细调整与表面重新整合。
• 通过动态地将深度帧集成与去集成到截断符号距离场（TSDF）体素中，维持模型一致性。
• 依赖全局位姿优化而非帧间跟踪，降低系统脆弱性，支持从跟踪失败中恢复。
• 利用GPU加速的SIFT特征检测与匹配，以保持实时性能。

实验结果

研究问题

• RQ1 是否可以在无需离线处理或显式回环检测的情况下，实现实时、全局一致的3D重建？
• RQ2 在特征稀少或动态环境中，如何在在线扫描过程中实现鲁棒的跟踪与重定位？
• RQ3 是否能在保证全局一致性的前提下，实现实时且高质量的稠密3D重建？
• RQ4 在在线3D重建中，速度、精度与完整性之间的性能权衡如何？
• RQ5 稀疏与稠密匹配的融合如何提升全局对齐精度与模型质量？

主要发现

• 在ICL-NUIM合成数据集上，BundleFusion的平均表面重建误差分别为0.5cm、0.6cm、0.7cm和0.8cm，优于当前最先进方法。
• 在增强版ICL-NUIM数据集上，BundleFusion的ATE RMSE分别为0.6cm、0.5cm、15.3cm和1.4cm，其中在Office 2场景中仅0.5cm，在Living Room 2场景中为1.4cm。
• 在大多数序列中，99%以上的帧被成功注册，仅因遮挡或纹理缺失导致1–115帧未注册。
• SIFT特征检测每帧耗时约3.8ms（150个特征），特征匹配每对耗时约0.04ms，可在消费级GPU上实现实时性能。
• 系统支持从任意视角进行重定位，即使在中断后也能恢复，且模型质量无下降。
• 该系统实现了与Redwood等离线方法相当的重建质量，但实现了实时处理并保证了完整扫描。