[论文解读] Curvature regularization for Non-line-of-sight Imaging from Under-sampled Data

Rui Ding, Juntian Ye+3 more|arXiv (Cornell University)|Jan 1, 2023

Advanced Optical Sensing Technologies被引用 5

一句话总结

本文提出了一种基于曲率正则化的重建模型，用于从欠采样数据中实现非视域（NLOS）成像，采用物体域和双域曲率正则化，并在ADMM框架下通过GPU计算加速。该方法在保持高速的同时实现了最先进的重建质量，能够在仅使用4×4采样点的情况下恢复64×64分辨率的图像，有效抑制噪声并保持表面连续性。

ABSTRACT

Non-line-of-sight (NLOS) imaging aims to reconstruct the three-dimensional hidden scenes from the data measured in the line-of-sight, which uses photon time-of-flight information encoded in light after multiple diffuse reflections. The under-sampled scanning data can facilitate fast imaging. However, the resulting reconstruction problem becomes a serious ill-posed inverse problem, the solution of which is highly possibility to be degraded due to noises and distortions. In this paper, we propose novel NLOS reconstruction models based on curvature regularization, i.e., the object-domain curvature regularization model and the dual (signal and object)-domain curvature regularization model. In what follows, we develop efficient optimization algorithms relying on the alternating direction method of multipliers (ADMM) with the backtracking stepsize rule, for which all solvers can be implemented on GPUs. We evaluate the proposed algorithms on both synthetic and real datasets, which achieve state-of-the-art performance, especially in the compressed sensing setting. Based on GPU computing, our algorithm is the most effective among iterative methods, balancing reconstruction quality and computational time. All our codes and data are available at https://github.com/Duanlab123/CurvNLOS.

研究动机与目标

• 为解决从欠采样瞬态测量中进行NLOS重建时存在的病态问题，该问题常导致噪声大且失真的重建结果。
• 通过引入曲率正则化，在压缩感知设置下提升重建质量，以保持表面平滑性和结构连续性。
• 开发一种快速、可扩展的算法，适用于实时NLOS成像应用。
• 通过GPU优化的ADMM结合回溯线搜索步长规则，相比现有迭代方法显著降低计算时间。

提出的方法

• 提出两种曲率正则化模型：一种在物体域，另一种在双域（信号与物体）中，联合正则化表面平滑性与信号连续性。
• 采用交替方向乘子法（ADMM）结合回溯线搜索，高效求解高阶曲率最小化问题。
• 将曲率建模为总变差的自适应权重，以简化计算并提升收敛速度。
• 应用线性化技术进一步加速优化过程的收敛。
• 在GPU上实现该算法，相较于基于CPU的迭代方法获得显著加速。
• 采用两步优化策略：首先对物体表面进行正则化，然后在双域中联合优化信号与物体。

(a) Non-confocal NLOS

实验结果

研究问题

• RQ1 曲率正则化是否能有效提升欠采样NLOS成像中的重建质量，尤其是在存在噪声和数据有限的情况下？
• RQ2 双域曲率正则化与单域正则化相比，在保持表面和信号连续性方面表现如何？
• RQ3 所提出的基于ADMM的算法是否能在NLOS成像中同时实现高重建质量与低计算成本？
• RQ4 GPU加速在多大程度上提升了基于曲率的NLOS重建的运行时间性能？

主要发现

• 所提出的curvNLOS方法在合成与真实NLOS数据集上均实现了最先进的重建质量，优于直接法与迭代法，尤其在压缩感知条件下表现突出。
• 在短曝光数据（15 s）下，仅curvNLOS成功重建出可识别的低噪声图像，其他方法则产生模糊或噪声严重的图像。
• 在长曝光数据（60 min）下，所有方法性能均提升，但curvNLOS在保持细长边缘和结构细节方面仍保持最高保真度。
• GPU加速的curvNLOS算法相比其他迭代方法显著更快，且计算时间稳定、较低，不受场景复杂度影响。
• 该方法仅使用4×4个采样点即可重建64×64分辨率的3D场景，展现出在极端欠采样条件下的强大性能。
• 与仅使用物体域的方法相比，双域曲率模型能有效减少异常值并增强表面连续性。

(b) Confocal NLOS