[论文解读] Computational Mirrors: Blind Inverse Light Transport by Deep Matrix Factorization

Miika Aittala, Prafull Sharma+5 more|arXiv (Cornell University)|Dec 5, 2019

Advanced Optical Sensing Technologies被引用 15

一句话总结

本文提出了一种新颖方法，通过使用深度矩阵分解从未校准可见场景中的间接光照中恢复隐藏场景视频。通过将隐藏视频和光照传输矩阵参数化为随机初始化的卷积神经网络的输出，并通过一次性优化进行训练，该方法在无需预训练的情况下实现了有意义的分解，从而实现了能够以高感知保真度揭示遮挡物后运动的‘计算镜像’。

ABSTRACT

We recover a video of the motion taking place in a hidden scene by observing changes in indirect illumination in a nearby uncalibrated visible region. We solve this problem by factoring the observed video into a matrix product between the unknown hidden scene video and an unknown light transport matrix. This task is extremely ill-posed, as any non-negative factorization will satisfy the data. Inspired by recent work on the Deep Image Prior, we parameterize the factor matrices using randomly initialized convolutional neural networks trained in a one-off manner, and show that this results in decompositions that reflect the true motion in the hidden scene.

研究动机与目标

• 通过观察可见杂乱环境中的间接光照，实现被动的、未校准的非视域成像。
• 解决光照传输矩阵和隐藏场景视频均未知的病态逆光照传输问题。
• 开发一种方法，通过利用深度神经网络的归纳偏差来绕过昂贵的预标定过程。
• 证明深度图像先验在物理逆问题中的盲矩阵分解中具有有效的正则化作用。

提出的方法

• 将逆光照传输问题表述为将观测视频分解为未知隐藏场景视频和未知光照传输矩阵的矩阵分解问题。
• 使用随机初始化的卷积神经网络（CNN）对两个因子矩阵进行参数化，以隐式地施加类似图像的结构。
• 通过一次性梯度下降训练CNN，以最小化观测视频与两个因子矩阵乘积之间的重建误差。
• 使用跳跃连接和批量归一化以稳定训练，并促进因子矩阵中的空间一致性。
• 在中间特征图中引入强制的空间变化，以打破对称性并加速收敛。
• 不使用任何预训练或标注数据——仅通过网络架构和随机初始化提供归纳偏差。

实验结果

研究问题

• RQ1 深度卷积神经网络能否作为物理逆问题中盲矩阵分解的有效归纳先验？
• RQ2 是否可能在无任何预标定或场景几何知识的情况下，从未校准的间接光照中恢复出有意义的隐藏场景视频？
• RQ3 在真实世界、未校准的环境中，深度图像先验在分离隐藏场景内容与光照传输矩阵方面的有效性如何？
• RQ4 诸如旋转、翻转和非线性形变等全局模糊性在多大程度上影响重建质量？
• RQ5 该方法是否能在不重新训练的情况下泛化到不同复杂度和运动模式的场景？

主要发现

• 该方法成功地从未校准的间接光照中恢复出具有感知可理解性的隐藏场景运动，甚至在无任何预标定或训练数据的情况下也有效。
• 在受控序列（如光盘运动和挥手实验）中，恢复出的隐藏视频内容清晰可辨。
• 与修改后的盲去卷积基线方法相比，该方法在重建的连贯性和可解释性方面表现更优。
• 该方法可推广至实拍场景，即使在无投影仪或主动光照的情况下，也能成功解析大尺度肢体和物体运动。
• 实验结果对非线性因素具有鲁棒性，这通过使用实测传输矩阵生成的半仿真数据表现出近乎一致的性能得到验证。
• 全局模糊性（如旋转、翻转和非线性形变）仍然存在，但核心运动内容得以保留，且感知上准确。