[论文解读] Adaptive lighting for data-driven non-line-of-sight 3D localization and object identification

Sreenithy Chandran, Suren Jayasuriya|arXiv (Cornell University)|Jan 1, 2019

Advanced Optical Sensing Technologies被引用 2

一句话总结

本文提出一种数据驱动的自适应照明方法，仅使用传统相机和投影仪，实现非视域（NLOS）三维定位与物体识别，通过基于辐射度的照明规划优化复杂视距场景中的光路。该方法在真实硬件数据上实现了87.1%的物体识别准确率和1.97厘米的质心定位均方误差。

ABSTRACT

Non-line-of-sight (NLOS) imaging of objects not visible to either the camera or illumination source is a challenging task with vital applications including surveillance and robotics. Recent NLOS reconstruction advances have been achieved using time-resolved measurements which requires expensive and specialized detectors and laser sources. In contrast, we propose a data-driven approach for NLOS 3D localization and object identification requiring only a conventional camera and projector. To generalize to complex line-of-sight (LOS) scenes with non-planar surfaces and occlusions, we introduce an adaptive lighting algorithm. This algorithm, based on radiosity, identifies and illuminates scene patches in the LOS which most contribute to the NLOS light paths, and can factor in system power constraints. We achieve an average identification of 87.1% object identification for four classes of objects, and average localization of the NLOS object's centroid with a mean-squared error (MSE) of 1.97 cm in the occluded region for real data taken from a hardware prototype. These results demonstrate the advantage of combining the physics of light transport with active illumination for data-driven NLOS imaging.

研究动机与目标

• 解决在具有非平面表面和遮挡物的复杂场景中非视域成像的挑战。
• 在无需专用时间分辨探测器或激光源的情况下，实现三维定位与物体识别。
• 开发一种自适应照明策略，基于场景几何结构和光传输物理特性优化照明。
• 将系统功耗约束整合到照明规划过程中，以实现实际部署。
• 展示使用常规成像硬件实现数据驱动非视域成像的可行性。

提出的方法

• 使用基于辐射度的模型预测从照明场景区域到隐藏非视域物体的光传输路径。
• 识别并优先选择对非视域信号路径贡献最大的视距（LOS）场景区域。
• 动态调整对这些高贡献区域的照明，以最大化非视域信号强度。
• 将系统功耗约束纳入优化过程，确保实际照明能量使用的合理性。
• 在真实硬件数据上训练数据驱动模型，将投影光图案映射到非视域物体特征与位置。
• 结合物理光传输建模与学习表征，实现鲁棒的定位与识别。

实验结果

研究问题

• RQ1 在具有复杂遮挡和非平面表面的场景中，自适应照明在多大程度上可提升非视域成像性能？
• RQ2 在无时间分辨探测器的情况下，数据驱动方法在多大程度上可实现精确的三维定位与物体识别？
• RQ3 将基于辐射度的照明规划整合后，如何增强相关视距区域对信号贡献的优化？
• RQ4 系统功耗约束对非视域成像自适应照明设计与性能有何影响？
• RQ5 当结合物理信息照明策略时，传统相机与投影仪系统能否实现高精度的非视域定位与识别？

主要发现

• 所提出的自适应照明方法在真实硬件数据上，对四类物体实现了87.1%的平均识别准确率。
• 该系统在遮挡区域对非视域物体质心的定位误差达到1.97厘米的均方误差（MSE）。
• 基于辐射度的照明规划成功识别并优先处理了对非视域光路贡献最大的视距区域。
• 该方法在系统功耗约束下仍能有效运行，且性能未出现显著下降。
• 将物理光传输建模与数据驱动学习相结合，实现了在真实世界数据上的鲁棒性能。
• 结果表明，当结合智能照明策略时，传统相机与投影仪系统可实现高精度的非视域成像。