[论文解读] DeLTra: Deep Light Transport for Projector-Camera Systems

Bingyao Huang, Haibin Ling|arXiv (Cornell University)|Mar 6, 2020

Advanced Vision and Imaging参考文献 49被引用 4

一句话总结

DeLTra 是一种端到端可训练的深度学习框架，用于辐射度未校准的投影仪-相机光传输建模，结合了用于光线/深度/法向估计的 DepthToAttribute 模块和基于 CNN 的 ShadingNet，以实现逼真的渲染。它引入了一种基于对极几何约束的可微分直接光照掩膜，用于处理遮挡问题，实现了在基于图像重光照、投影仪补偿以及深度/法向重建任务中的统一应用，并取得了当前最先进性能。

ABSTRACT

In projector-camera systems, light transport models the propagation from projector emitted radiance to camera-captured irradiance. In this paper, we propose the first end-to-end trainable solution named Deep Light Transport (DeLTra) that estimates radiometrically uncalibrated projector-camera light transport. DeLTra is designed to have two modules: DepthToAtrribute and ShadingNet. DepthToAtrribute explicitly learns rays, depth and normal, and then estimates rough Phong illuminations. Afterwards, the CNN-based ShadingNet renders photorealistic camera-captured image using estimated shading attributes and rough Phong illuminations. A particular challenge addressed by DeLTra is occlusion, for which we exploit epipolar constraint and propose a novel differentiable direct light mask. Thus, it can be learned end-to-end along with the other DeLTra modules. Once trained, DeLTra can be applied simultaneously to three projector-camera tasks: image-based relighting, projector compensation and depth/normal reconstruction. In our experiments, DeLTra shows clear advantages over previous arts with promising quality and meanwhile being practically convenient.

研究动机与目标

• 解决投影仪-相机系统中难以进行辐射度校准的光传输建模挑战，此类校准在实际中不切实际或易出错。
• 克服在不依赖显式三维几何信息的前提下对光传输估计中的遮挡进行建模的困难。
• 开发一种端到端可训练的框架，联合优化深度、法向和着色属性，以实现精确的图像合成。
• 实现模型在三种关键投影仪-相机任务中的统一应用：基于图像的重光照、投影仪补偿以及深度/法向重建。

提出的方法

• 提出 DepthToAttribute 模块，从输入的深度图中显式估计光线、深度和表面法向，并生成粗略的 Phong 照明模型。
• 基于对极几何提出一种可微分的直接光照掩膜，用于建模遮挡，实现通过遮挡边界的端到端反向传播。
• 设计一种基于 CNN 的 ShadingNet，融合估计的着色属性和粗略的 Phong 照明模型，以渲染出逼真的相机捕获图像。
• 使用可微分渲染损失对整个 DeLTra 系统进行端到端训练，实现深度、法向和着色参数的联合优化。
• 利用对极约束在光照可见性估计中强制实现几何一致性，提升对遮挡的鲁棒性。
• 采用多任务学习目标，在训练过程中同时优化重光照、补偿和重建任务。

实验结果

研究问题

• RQ1 是否能够通过端到端可微分框架有效建模未校准的投影仪-相机光传输，而无需进行辐射度校准？
• RQ2 学习得到的光传输模型在真实投影仪-相机系统中对遮挡的处理能力如何？
• RQ3 单一统一模型在多任务场景下同时实现基于图像的重光照、投影仪补偿和深度/法向重建的能力有多强？
• RQ4 基于对极约束的可微分直接光照掩膜是否相比传统方法显著提升了遮挡建模效果？

主要发现

• DeLTra 在基于图像的重光照任务中取得了当前最先进性能，即使在未校准条件下也能生成逼真的结果。
• 可微分直接光照掩膜显著提升了遮挡处理能力，从而实现了更精确的光传输估计。
• 该模型实现了实用的投影仪补偿，相比先前方法显著减少了视觉伪影。
• DeLTra 在高保真度下成功重建了深度和表面法向，展示了其多任务能力。
• 端到端训练方案实现了所有组件的联合优化，从而提升了泛化能力和鲁棒性。
• 该框架在实际应用中便捷且可直接部署于多种投影仪-相机应用场景，无需重新训练或校准。