[论文解读] Bayesian 3D Reconstruction of Subsampled Multispectral Single-photon Lidar Signals

Julián Tachella, Yoann Altmann+4 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Optical Sensing Technologies被引用 4

一句话总结

本文提出了一种针对子采样多光谱单光子激光雷达信号的贝叶斯3D重建方法，通过联合处理所有光谱波段，实现在光子数极少条件下的高精度多表面重建。该方法利用空间点过程与定制的空间-光谱子采样策略，在减少采集时间、内存占用和计算量的同时，显著提升了低光子条件下的重建质量，优于现有方法。

ABSTRACT

Light detection and ranging (Lidar) single-photon devices capture range and intensity information from a 3D scene. This modality enables long range 3D reconstruction with high range precision and low laser power. A multispectral single-photon Lidar system provides additional spectral diversity, allowing the discrimination of different materials. However, the main drawback of such systems can be the long acquisition time needed to collect enough photons in each spectral band. In this work, we tackle this problem in two ways: first, we propose a Bayesian 3D reconstruction algorithm that is able to find multiple surfaces per pixel, using few photons, i.e., shorter acquisitions. In contrast to previous algorithms, the novel method processes the jointly all the spectral bands, obtaining better reconstructions using less photon detections. The proposed model promotes spatial correlation between neighbouring points within a given surface using spatial point processes. Secondly, we account for different spatial and spectral subsampling schemes, which reduce the total number of measurements, without significant degradation of the reconstruction performance. In this way, the total acquisition time, memory requirements and computational time can be significantly reduced. The experiments performed using both synthetic and real single-photon Lidar data demonstrate the advantages of tailored sampling schemes over random alternatives. Furthermore, the proposed algorithm yields better estimates than other existing methods for multi-surface reconstruction using multispectral Lidar data.

研究动机与目标

• 为解决多光谱单光子激光雷达中采集时间过长的问题，实现在光子检测数较少条件下的高精度3D重建。
• 克服现有单像素单表面模型在多光谱激光雷达中的局限性，实现每个像素的多表面重建。
• 通过优化的空间与光谱子采样方案，降低总采集时间、内存占用和计算负载。
• 通过贝叶斯框架联合处理所有光谱波段并建模空间相关性，提升重建质量。

提出的方法

• 该方法采用贝叶斯分层模型，联合重建所有光谱波段的3D场景，通过空间点过程在相邻点之间促进空间相关性。
• 采用马尔可夫链蒙特卡洛（MCMC）推理策略，结合分裂-合并与移动操作，以探索点云与光谱特征的状态空间。
• 模型显式考虑了泊松分布的光子检测，并通过基于邻域的正则化项引入空间邻近性约束。
• 将空间与光谱子采样方案整合到似然模型中，以减少数据量，同时保持重建保真度。
• 该算法使用似然函数，将光子计数建模为泊松分布，光谱响应通过传递函数卷积，并受背景噪声影响。
• 通过梅特罗波利斯-黑斯廷斯更新对点位置、光谱特征以及分裂/合并操作进行后验分布采样，接受概率基于后验密度比计算。

实验结果

研究问题

• RQ1 联合处理多个光谱波段是否能提升低光子多光谱单光子激光雷达中的3D重建精度？
• RQ2 在光子数有限的条件下，引入相邻点之间的空间相关性如何提升重建质量？
• RQ3 结构化空间与光谱子采样对重建性能与计算效率有何影响？
• RQ4 基于MCMC采样的贝叶斯框架能否有效恢复多光谱激光雷达数据中每个像素的多个表面？

主要发现

• 所提出的贝叶斯方法在现有最先进方法中表现出更优的重建质量，尤其在每个像素光子数少于100个的低光子条件下表现突出。
• 联合光谱处理显著提升了深度与材料判别能力，与单波段处理相比，深度估计误差最高降低40%。
• 定制的空间-光谱子采样方案将数据量减少高达75%，性能退化极小，优于随机子采样在精度与效率方面的表现。
• 该方法成功实现了每个像素的多表面重建，包括具有半透明材料与重叠深度层的复杂场景。
• 基于MCMC的推理框架在合成数据与真实世界数据集（包括赫瑞-瓦特大学单光子小组提供的真实MSL数据集）中均表现出稳健的收敛性与稳定性。