[论文解读] Efficient Non-Line-of-Sight Imaging from Transient Sinograms

Mariko Isogawa, Dorian Chan+3 more|arXiv (Cornell University)|Aug 6, 2020

Advanced Optical Sensing Technologies参考文献 33被引用 4

一句话总结

本文提出了一种环形共焦非视距（C²NLOS）扫描方法，通过利用正弦调制的瞬态测量——称为瞬态正弦图——来减少采集时间和计算负载，从而仅用先前最先进方法所需测量值的1.6%即可实现高效的三维定位与二维/三维图像重建。

ABSTRACT

Non-line-of-sight (NLOS) imaging techniques use light that diffusely reflects off of visible surfaces (e.g., walls) to see around corners. One approach involves using pulsed lasers and ultrafast sensors to measure the travel time of multiply scattered light. Unlike existing NLOS techniques that generally require densely raster scanning points across the entirety of a relay wall, we explore a more efficient form of NLOS scanning that reduces both acquisition times and computational requirements. We propose a circular and confocal non-line-of-sight (C2NLOS) scan that involves illuminating and imaging a common point, and scanning this point in a circular path along a wall. We observe that (1) these C2NLOS measurements consist of a superposition of sinusoids, which we refer to as a transient sinogram, (2) there exists computationally efficient reconstruction procedures that transform these sinusoidal measurements into 3D positions of hidden scatterers or NLOS images of hidden objects, and (3) despite operating on an order of magnitude fewer measurements than previous approaches, these C2NLOS scans provide sufficient information about the hidden scene to solve these different NLOS imaging tasks. We show results from both simulated and real C2NLOS scans.

研究动机与目标

• 在保持重建质量的前提下，减少非视距（NLOS）成像所需的测量数量。
• 识别支持计算高效重建隐藏场景的最小测量集合。
• 探究在可见中继墙上采用环形扫描模式是否足以支持NLOS成像任务。
• 开发利用瞬态测量正弦结构的重建算法，以提升速度与精度。
• 证明即使远少于以往所需的测量数量，仍可实现高质量的三维定位与图像重建。

提出的方法

• 提出一种环形共焦扫描策略，其中激光源与传感器共置，并沿可见中继墙上的单一直径路径进行环形扫描。
• 由于多次散射光的几何与时间响应，C²NLOS的瞬态测量形成多个正弦波的叠加，称为“瞬态正弦图”。
• 采用霍夫投票程序，通过估计瞬态正弦图中正弦分量的频率、振幅和相位，来定位离散散射体。
• 将瞬态正弦图视为隐藏场景的投影，应用反向拉东变换技术，对平面隐藏物体进行二维图像重建。
• 对大平面场景的二维成像采用线性最小二乘反演，实现计算成本极低的快速近似重建。
• 采用基于ADMM的优化框架并引入强先验，用于三维体积分割重建，从而从瞬态正弦图中实现近似三维恢复。

实验结果

研究问题

• RQ1 在中继墙上采用环形扫描模式是否能产生足够多的瞬态测量，以实现比光栅扫描更少的测量数量来重建隐藏场景？
• RQ2 C²NLOS的瞬态测量是否表现出正弦结构，从而支持高效重建算法？
• RQ3 能否将瞬态正弦图的参数（频率、振幅、相位）直接映射到隐藏散射体的三维位置？
• RQ4 尽管测量维度降低，是否仍可仅通过C²NLOS的瞬态正弦图实现隐藏场景的二维与三维图像重建？
• RQ5 C²NLOS在计算效率与重建质量方面与现有NLOS方法（如LCT和FK）相比如何？

主要发现

• C²NLOS的采集时间仅为LCT或FK方法的1.6%，同时保持了相近的定位精度，平均估计误差处于同一数量级。
• 霍夫投票程序成功利用瞬态正弦图的正弦参数定位离散散射体，实现了快速的三维位置恢复。
• 将反向拉东变换应用于瞬态正弦图，可在测量数量远少于其他方法的情况下，实现与LCT和FK相当视觉质量的平面场景二维图像重建。
• 对C²NLOS测量值采用线性最小二乘反演，可实现略低于LCT或FK的SSIM值，但计算速度提升50倍。
• 采用ADMM优化框架并引入强先验的三维体积分割重建，可恢复隐藏场景的关键结构特征（如深度与姿态），尽管重建质量低于LCT或FK。
• C²NLOS的瞬态正弦图包含足够信息，可通过调节扫描半径来调整有效焦深，从而近似重建非平面物体（如兔子）的三维外观。