[论文解读] High-resolution LIDAR-based Depth Mapping using Bilateral Filter

Cristiano Premebida, Luís Garrote+3 more|arXiv (Cornell University)|Jun 17, 2016

Robotics and Sensor-Based Localization参考文献 12被引用 3

一句话总结

本文提出了一种基于双边滤波的新型高分辨率仅LIDAR深度映射框架，通过改进的范围加权项在稀疏3D点云上采样过程中保留边缘。该方法在KITTI数据集上实现了最先进性能，最优窗口尺寸（13×13）下D1-all误差为3.35%，优于IDW、克里金插值和标准双边滤波方法。

ABSTRACT

High resolution depth-maps, obtained by upsampling sparse range data from a 3D-LIDAR, find applications in many fields ranging from sensory perception to semantic segmentation and object detection. Upsampling is often based on combining data from a monocular camera to compensate the low-resolution of a LIDAR. This paper, on the other hand, introduces a novel framework to obtain dense depth-map solely from a single LIDAR point cloud; which is a research direction that has been barely explored. The formulation behind the proposed depth-mapping process relies on local spatial interpolation, using sliding-window (mask) technique, and on the Bilateral Filter (BF) where the variable of interest, the distance from the sensor, is considered in the interpolation problem. In particular, the BF is conveniently modified to perform depth-map upsampling such that the edges (foreground-background discontinuities) are better preserved by means of a proposed method which influences the range-based weighting term. Other methods for spatial upsampling are discussed, evaluated and compared in terms of different error measures. This paper also researches the role of the mask's size in the performance of the implemented methods. Quantitative and qualitative results from experiments on the KITTI Database, using LIDAR point clouds only, show very satisfactory performance of the approach introduced in this work.

研究动机与目标

• 解决仅依赖稀疏3D LIDAR点云生成高分辨率深度图而不使用单目相机数据的挑战。
• 通过改进双边滤波中基于范围的加权项，提升深度图上采样过程中的边缘保持能力。
• 评估滑动窗口尺寸（mr）对插值精度和鲁棒性的影响。
• 在误差指标方面，将所提方法与IDW、克里金插值和基于Delaunay的插值方法等成熟技术进行比较。
• 证明仅LIDAR的深度映射可实现具有竞争力的性能，从而减少对多传感器融合的依赖。

提出的方法

• 该方法采用滑动窗口（掩码）技术，对稀疏LIDAR点云执行局部空间插值。
• 提出一种改进的双边滤波（BF*），其中基于范围的加权项得到增强，以更好地在物体边缘处保持深度不连续性。
• 该滤波器结合空间邻近度与范围差异，范围项动态调整以减少前景-背景边界处的模糊。
• 通过改变窗口尺寸（mr）分析其对误差性能的影响，最优结果出现在mr=13时。
• 采用KITTI数据集的标准评估指标进行评估：D1-fg（前景）、D1-bg（背景）和D1-all（综合）误差。
• 真值由原始LIDAR点云生成，结果通过KITTI开发工具包的误差映射进行可视化。

实验结果

研究问题

• RQ1 能否有效将双边滤波适配于仅使用单个LIDAR点云生成高分辨率深度图，而无需相机数据？
• RQ2 双边滤波中改进的范围加权项如何影响深度图上采样过程中的边缘保持性能？
• RQ3 在所提出的上采样框架中，平衡精度与计算成本的最优窗口尺寸（mr）是多少？
• RQ4 所提出的BF*方法在定量上与IDW、克里金插值和基于Delaunay的方法相比表现如何？
• RQ5 在真实场景中，仅LIDAR的深度映射在多大程度上可达到与多传感器融合方法相当的性能？

主要发现

• 所提BF*方法在13×13窗口尺寸下实现了最低的D1-all误差（3.35%），优于所有其他测试方法。
• 前景误差（D1-fg）由BF*最小化至8.23%，显著低于IDW（25.84%）和KRI（25.77%）。
• 背景误差（D1-bg）降低至2.63%，表明在平滑区域具有优异表现。
• 该方法在不同窗口尺寸下表现出强鲁棒性，BF*在mr增大时仍保持低误差，而IDW和KRI则表现出单调递增的误差。
• 基于Delaunay的方法虽然密度最高（99.96%），但误差率高于BF*，表明存在密度与精度之间的权衡。
• 图6的定性结果证实，BF*生成的深度图视觉上连贯，边缘清晰且伪影极少，尤其在物体边界附近表现优异。