[论文解读] A survey on real-time 3D scene reconstruction with SLAM methods in embedded systems

Quentin Picard, Stéphane Chevobbe+2 more|arXiv (Cornell University)|Sep 11, 2023

Robotics and Sensor-Based Localization被引用 4

一句话总结

本综述全面分析了在资源受限的嵌入式平台（如无人机和AR/VR设备）上，基于视觉-惯性SLAM实现实时3D场景重建的技术。研究评估了精度、实时性能、内存占用与功耗之间的权衡，强调了在FPGA和SoC上针对网格与体素化重建的软硬件协同设计策略，实测帧率最高达90 FPS，延迟低于100ms。

ABSTRACT

The 3D reconstruction of simultaneous localization and mapping (SLAM) is an important topic in the field for transport systems such as drones, service robots and mobile AR/VR devices. Compared to a point cloud representation, the 3D reconstruction based on meshes and voxels is particularly useful for high-level functions, like obstacle avoidance or interaction with the physical environment. This article reviews the implementation of a visual-based 3D scene reconstruction pipeline on resource-constrained hardware platforms. Real-time performances, memory management and low power consumption are critical for embedded systems. A conventional SLAM pipeline from sensors to 3D reconstruction is described, including the potential use of deep learning. The implementation of advanced functions with limited resources is detailed. Recent systems propose the embedded implementation of 3D reconstruction methods with different granularities. The trade-off between required accuracy and resource consumption for real-time localization and reconstruction is one of the open research questions identified and discussed in this paper.

研究动机与目标

• 分析在资源受限的嵌入式平台（如无人机和AR/VR设备）上，基于视觉-惯性SLAM实现实时3D场景重建的实现方法。
• 评估嵌入式SLAM系统中精度、计算成本、内存占用与功耗之间的权衡。
• 识别在低功耗硬件上部署回环检测、深度学习以及高粒度重建（网格/体素）所面临的开放挑战。
• 调研现有针对FPGA、SoC和商用现成（COTS）平台的3D重建流水线的硬件优化实现。
• 通过识别高资源算法开发与实际嵌入式部署之间存在的差距，为未来研究提供指导。

提出的方法

• 本文回顾了从传感器输入（摄像头、IMU）到3D重建的常规SLAM流水线，涵盖特征提取、里程计和建图阶段。
• 评估了基于稀疏点云、表面元（surfels）、网格和体素化体积表示的视觉-惯性SLAM方法。
• 研究分析了硬件加速技术，包括在嵌入式平台实现的FPGA和SoC方案，以实现实时性能。
• 探讨了协同设计策略，将计算密集型任务（如光线投射、优化）卸载至硬件加速器，同时由CPU负责控制和高层逻辑。
• 比较了在Intel NUC、ZCU102 FPGA和DE1/DE5开发板等平台上的FLaME（网格）与Voxblox（体素）实现，分析其性能与精度之间的权衡。
• 讨论了将深度学习用于特征检测与描述的方法，特别是在混合模型驱动与学习驱动的SLAM流水线中的集成。

实验结果

研究问题

• RQ1 在功耗、内存和计算资源受限的嵌入式系统上，实现实时3D重建的SLAM面临哪些关键挑战？
• RQ2 不同粒度的3D表示方法（点云、网格、体素）如何影响嵌入式SLAM中的精度与资源消耗？
• RQ3 哪些硬件加速策略（如FPGA、SoC）能够支持复杂重建任务（如光线投射与优化）的实时性能？
• RQ4 如何在不超出资源约束的前提下，有效集成深度学习至嵌入式SLAM流水线中？
• RQ5 在资源受限的嵌入式SLAM系统中，回环检测能力与计算成本之间的权衡是什么？

主要发现

• FLaME网格重建方法在Intel Skull Canyon NUC上实现了超过90 FPS的帧率，使用320×256分辨率摄像头以60 FPS运行，展现出优异的实时性能。
• 基于Voxblox的重建在搭载i7 CPU与双目摄像头的微型飞行器（MAV）上，总系统计算时间低于250ms，实现了实时运行。
• 在Xilinx ZCU102 FPGA上，KinectFusion被优化至27.5 FPS，输入分辨率为320×240，但因优化折衷导致精度从0.018m下降至0.08m。
• InfiniTAM在高端DE5 PCIe板卡上达到44 FPS，在低成本DE1 FPGA上仅达2 FPS，显示出对可用硬件资源的强依赖性。
• 研究发现，仅有少数基于网格与体素的重建方法成功部署于MAV或结合硬件加速，表明在嵌入式部署方面仍存在研究空白。
• 本文指出，由于计算需求高，回环检测的集成仍是主要挑战，尤其在低功耗嵌入式系统中。