[论文解读] Self-calibrating Deep Photometric Stereo Networks

Guanying Chen, Kai Han+3 more|arXiv (Cornell University)|Mar 18, 2019

Advanced Vision and Imaging参考文献 35被引用 5

一句话总结

该论文提出SDPS-Net，一种用于非朗伯表面的非校准光度立体重建的两阶段深度学习框架，能够联合估计表面法向量以及未知的光照方向与强度。通过将光照校准与法向量估计解耦，并引入中间监督，该方法在合成数据集和真实世界数据集上均实现了最先进性能，显著优于以往的非校准方法，在法向量和光照估计精度方面表现更优。

ABSTRACT

This paper proposes an uncalibrated photometric stereo method for non-Lambertian scenes based on deep learning. Unlike previous approaches that heavily rely on assumptions of specific reflectances and light source distributions, our method is able to determine both shape and light directions of a scene with unknown arbitrary reflectances observed under unknown varying light directions. To achieve this goal, we propose a two-stage deep learning architecture, called SDPS-Net, which can effectively take advantage of intermediate supervision, resulting in reduced learning difficulty compared to a single-stage model. Experiments on both synthetic and real datasets show that our proposed approach significantly outperforms previous uncalibrated photometric stereo methods.

研究动机与目标

• 解决非朗伯表面在任意未知反射模型下的非校准光度立体重建挑战。
• 克服以往方法对反射特性或光源分布施加严格假设的局限性。
• 通过引入两阶段架构中的中间监督，降低联合法向量与光照估计的学习难度。
• 通过与光照估计模块无缝集成，使现有校准光度立体方法能够在未知光照条件下运行。
• 在具有不同材质和复杂反射特性的现实场景中，实现鲁棒且精确的法向量与光照估计。

提出的方法

• 该框架包含两个阶段：首先由光照校准网络（LCNet）从输入图像中估计光照方向与强度，随后由法向量估计网络（NENet）预测表面法向量图。
• LCNet处理任意数量的输入图像，利用带有中间监督的深度神经网络回归三维光照方向向量与标量强度。
• NENet将估计的光照条件与输入图像作为输入，预测密集的表面法向量图，从而利用校准后的光照信息提升估计精度。
• 两阶段设计支持中间监督，降低了端到端学习的复杂度，并增强了模型的可解释性。
• 该方法仅在具有均匀材质属性的合成数据上进行训练，但能泛化至具有复杂反射特性的现实世界场景。
• 光照估计模块可与现有校准光度立体网络无缝集成，扩展其在非校准设置下的适用性。

实验结果

研究问题

• RQ1 基于深度学习的方法是否能在不依赖反射特性或光照分布先验假设的前提下，联合估计非朗伯表面的表面法向量与未知光照方向？
• RQ2 与端到端学习相比，采用中间监督的两阶段架构是否能降低光照估计的学习难度并提升最终的法向量估计性能？
• RQ3 所提出的光照估计模块是否能有效迁移并集成到现有校准光度立体网络中，以处理非校准场景？
• RQ4 该方法在具有复杂非均匀反射特性和多变光照条件的真实世界数据集上的泛化能力如何？
• RQ5 与最先进非校准光度立体方法相比，该方法在法向量与光照估计精度方面的定量性能提升如何？

主要发现

• 在基准数据集上，SDPS-Net的平均法向量估计误差为9.51°，显著优于之前最先进方法UPS-FCN的13.62°平均误差。
• 在Gourd&Apple数据集上，该方法实现了6.83°的平均光照方向误差与0.113的强度误差，表明其在具有挑战性的真实世界数据上表现稳健。
• 在Light Stage Data Gallery数据集上，该方法实现了13.61°的平均光照方向误差与0.221的强度误差，展现出在多样化真实场景中的强大泛化能力。
• 消融实验表明，采用中间监督的两阶段设计（LCNet + NENet）相比仅使用LCNet的基线回归方法，将平均法向量误差降低了11.03°。
• 定性结果（图8(c)-(g)）显示，该方法在真实数据集上生成了视觉上合理且精确的表面法向量图，证实了其实际适用性。
• 尽管在均匀材质上表现优异，该方法在具有剧烈颜色变化的多材质表面仍存在局限，表明未来需针对空间变化的BRDF进行研究。