[论文解读] HDRFusion: HDR SLAM using a low-cost auto-exposure RGB-D sensor

Shuda Li, Ankur Handa+2 more|arXiv (Cornell University)|Apr 4, 2016

Advanced Vision and Imaging参考文献 21被引用 4

一句话总结

HDRFusion 提出了一种基于低成本自动曝光 RGB-D 相机的实时帧到模型 SLAM 系统，通过追踪归一化辐射度来解耦曝光补偿与跟踪，实现了鲁棒的运动估计和高动态范围（HDR）纹理重建。该方法在闪烁照明条件下实现了精确且漂移最小化的跟踪，并生成了与高端单反相机获取的真实 HDR 图像高度匹配的 HDR 图像。

ABSTRACT

We describe a new method for comparing frame appearance in a frame-to-model 3-D mapping and tracking system using an low dynamic range (LDR) RGB-D camera which is robust to brightness changes caused by auto exposure. It is based on a normalised radiance measure which is invariant to exposure changes and not only robustifies the tracking under changing lighting conditions, but also enables the following exposure compensation perform accurately to allow online building of high dynamic range (HDR) maps. The latter facilitates the frame-to-model tracking to minimise drift as well as better capturing light variation within the scene. Results from experiments with synthetic and real data demonstrate that the method provides both improved tracking and maps with far greater dynamic range of luminosity.

研究动机与目标

• 解决在自动曝光（AE）导致亮度波动时，RGB-D SLAM 中帧到模型跟踪的不稳定性问题。
• 实现实时、高精度的 HDR 纹理重建，输入为自动曝光下捕获的 LDR 帧。
• 通过使用归一化辐射度作为外观度量，将曝光补偿与跟踪解耦。
• 通过保持自动曝光变化下的亮度恒定，减少 3D 地图构建中的漂移。
• 生成与真实世界亮度高度一致的高保真 HDR 场景纹理，即使在极端光照变化下亦能保持准确。

提出的方法

• 系统通过归一化辐射度追踪相机位姿，该度量对曝光变化具有不变性，从 RGB 帧中计算得出。
• 利用下采样后的积分图像高效计算归一化辐射度，从而实现实时性能。
• 曝光补偿与跟踪解耦，通过基于传感器噪声的置信度图独立执行。
• 辐射度融合通过曝光补偿和置信加权平均，将多个 LDR 帧合并为单个 HDR 图像。
• 采用帧到模型跟踪以最小化漂移，利用归一化辐射度的全局亮度恒定性。
• 基于传感器噪声水平的置信度图自适应加权像素贡献，提升融合过程的鲁棒性。

实验结果

研究问题

• RQ1 在自动曝光引起的亮度波动下，归一化辐射度追踪能否在帧到模型 SLAM 中保持鲁棒性？
• RQ2 使用帧融合技术，能否从低成本自动曝光 RGB-D 传感器捕获的 LDR 帧中高精度重建 HDR 纹理图？
• RQ3 将曝光补偿与跟踪解耦是否能提升跟踪精度和 HDR 重建质量？
• RQ4 与传统的帧间或 ICP 方法相比，归一化辐射度追踪在多大程度上减少了漂移？
• RQ5 重建的 HDR 纹理与使用高端单反相机捕获的真实 HDR 图像在亮度值上的匹配程度如何？

主要发现

• 所提出的归一化辐射度追踪方法在合成闪烁序列中实现了最低的旋转和平移误差，优于原始 RGB、NCC 和基线帧到模型跟踪方法。
• 在真实世界闪烁序列中，该方法成功维持了跟踪，而 [3] 完全失败，证明了其对快速曝光变化的鲁棒性。
• HDRFusion 重建的 HDR 辐射度图与使用 Canon 5D Mark II 捕获的真实 HDR 图像高度一致，经视觉和定量对比验证。
• 系统在暗部区域（如桌子下方或阴影角落）成功保留了精细细节，表明其动态范围显著高于标准 LDR 融合方法。
• 在平滑自动曝光序列中，使用归一化辐射度的帧到模型跟踪在 1,000 帧内实现的平移漂移小于 3 cm。
• 使用 Mantiuk 亮度映射算子的可视化结果表明，HDRFusion 生成的纹理具有感知准确性，且无马赛克伪影。