[论文解读] A Framework for the Volumetric Integration of Depth Images

Victor Adrian Prisacariu, Olaf Kähler+6 more|arXiv (Cornell University)|Oct 3, 2014

Robotics and Sensor-Based Localization参考文献 10被引用 27

一句话总结

本文提出 InfiniTAM，一种用于基于深度图像的体素化3D重建的灵活且可移植的框架，支持将RGB-D数据高效集成到截断符号距离函数（TSDF）体素中。该框架支持GPU加速追踪、体素块哈希以提高内存效率，并支持可选的GPU-CPU数据交换，从而在保持交互性能的同时实现大规模场景的可扩展重建。

ABSTRACT

Volumetric models have become a popular representation for 3D scenes in recent years. One of the breakthroughs leading to their popularity was KinectFusion, where the focus is on 3D reconstruction using RGB-D sensors. However, monocular SLAM has since also been tackled with very similar approaches. Representing the reconstruction volumetrically as a truncated signed distance function leads to most of the simplicity and efficiency that can be achieved with GPU implementations of these systems. However, this representation is also memory-intensive and limits the applicability to small scale reconstructions. Several avenues have been explored for overcoming this limitation. With the aim of summarizing them and providing for a fast and flexible 3D reconstruction pipeline, we propose a new, unifying framework called InfiniTAM. The core idea is that individual steps like camera tracking, scene representation and integration of new data can easily be replaced and adapted to the needs of the user. Along with the framework we also provide a set of components for scalable reconstruction: two implementations of camera trackers, based on RGB data and on depth data, two representations of the 3D volumetric data, a dense volume and one based on hashes of subblocks, and an optional module for swapping subblocks in and out of the typically limited GPU memory.

研究动机与目标

• 开发一个统一且可扩展的框架，用于体素化集成深度图像，支持多种重建流水线。
• 通过结合高效的内存结构（如体素块哈希）和GPU-CPU内存交换技术，实现可扩展的3D重建。
• 提供一个可移植、模块化的系统，支持RGB和基于深度的追踪，并可根据不同硬件和应用需求进行调整。
• 通过稀疏数据结构和高效的内存管理，在保持实时性能的同时减少体素化重建中的内存开销。
• 提供低依赖、跨平台的实现，支持在线和离线重建工作流。

提出的方法

• 该框架采用责任链设计模式，状态在无状态处理引擎（如追踪、集成、射线投射）之间传递。
• 支持两种追踪方法：基于颜色的追踪（使用RGB图像）和基于深度的ICP追踪（使用深度图像）。
• 体素化数据可表示为密集TSDF体素或通过体素块哈希表示，后者使用哈希表来索引3D体素中的稀疏子块。
• 体素块哈希技术采用自定义哈希函数，支持子块的动态分配与查找，从而减少内存使用。
• 可选的交换引擎负责管理GPU与主机内存之间的数据传输，通过限制最大传输次数来确保交互性能。
• 系统采用模块化架构，允许用户在复用核心基础设施的同时替换组件（如追踪器、场景表示）。

实验结果

研究问题

• RQ1 如何设计一个灵活且模块化的框架，以支持3D重建中多种追踪和体素化表示策略？
• RQ2 哪些技术可实现在不牺牲实时性能的前提下，高效使用内存进行体素化重建？
• RQ3 如何高效地在GPU与主机内存之间交换数据，以扩展可重建场景的规模？
• RQ4 哪些架构选择能够实现3D重建系统在跨平台部署和可扩展性方面的优势？
• RQ5 统一框架是否能够以最小依赖支持小规模和大规模3D重建？

主要发现

• InfiniTAM 成功支持密集和稀疏的体素化表示，实现了在各种场景规模下的高效重建。
• 体素块哈希的使用显著降低了内存消耗，尤其在大规模场景中效果明显。
• 交换引擎通过将数据卸载到主机内存，实现了可扩展的重建，即使在GPU内存有限的情况下仍能保持交互性能。
• 该框架具有良好的可移植性，可在Linux、Mac OS和Windows上原生编译，且外部依赖极少。
• 模块化设计允许轻松替换追踪器和场景表示等组件，有利于快速原型设计和研究扩展。
• 系统支持实时输入（通过OpenNI）和离线处理（从图像文件），展现出广泛的应用潜力。