[论文解读] A CNN Based Approach for the Near-Field Photometric Stereo Problem

Fotios Logothetis, Ignas Budvytis+2 more|Cambridge University Engineering Department Publications Database|Sep 12, 2020

Optical measurement and interference techniques参考文献 1被引用 4

一句话总结

本文提出首个基于CNN的近场光度立体方法，能够处理径向光衰减、透视几何和镜面反射等真实光照效应。通过逐像素CNN迭代估计表面法线，并利用数值积分优化深度，该方法实现了最先进精度，在合成数据上的平均角度误差相比先前方法降低超过6°。

ABSTRACT

Reconstructing the 3D shape of an object using several images under different light sources is a very challenging task, especially when realistic assumptions such as light propagation and attenuation, perspective viewing geometry and specular light reflection are considered. Many of works tackling Photometric Stereo (PS) problems often relax most of the aforementioned assumptions. Especially they ignore specular reflection and global illumination effects. In this work, we propose the first CNN based approach capable of handling these realistic assumptions in Photometric Stereo. We leverage recent improvements of deep neural networks for far-field Photometric Stereo and adapt them to near field setup. We achieve this by employing an iterative procedure for shape estimation which has two main steps. Firstly we train a per-pixel CNN to predict surface normals from reflectance samples. Secondly, we compute the depth by integrating the normal field in order to iteratively estimate light directions and attenuation which is used to compensate the input images to compute reflectance samples for the next iteration. To the best of our knowledge this is the first near-field framework which is able to accurately predict 3D shape from highly specular objects. Our method outperforms competing state-of-the-art near-field Photometric Stereo approaches on both synthetic and real experiments.

研究动机与目标

• 解决在包含透视几何、点光源及镜面反射等真实物理假设下的近场光度立体三维形状重建问题。
• 克服现有方法在近场设置中对非朗伯反射和光衰减进行简化或忽略的局限性。
• 通过迭代深度估计补偿光衰减，实现在近场场景中应用基于深度学习的法线预测。
• 通过训练阶段的数据增强提升对阴影和互反射等全局光照效应的鲁棒性。
• 在合成与真实世界近场数据集上，性能优于最先进优化方法与基于CNN的方法。

提出的方法

• 训练一个逐像素CNN，从经光衰减补偿后的输入图像反射率样本中预测表面法线，其中光衰减通过估计的深度图进行补偿。
• 采用迭代流程：首先，从补偿后的反射率样本预测法线；其次，通过法线积分更新深度，并为下一轮迭代优化光方向与衰减估计。
• 利用初始深度估计对光衰减进行补偿，使远场风格CNN可在近场场景中使用。
• 通过虚拟近场采集设置合成训练数据，支持深度变化等几何数据增强，以减少分布偏移。
• 从BRDF样本（MERL与Disney BSDF）构建观测图，并通过添加阴影与自反射效应进行增强，以提升泛化能力。
• 采用法线场的数值积分实现深度重建，该过程迭代进行，以优化光方向与衰减参数。

实验结果

研究问题

• RQ1 深度CNN能否在处理真实光照与材质效应的前提下，有效适配近场光度立体问题？
• RQ2 如何在近场设置中补偿光衰减与透视效应，以使远场CNN架构得以应用？
• RQ3 数据增强策略在多大程度上可提升模型对近场光度立体中阴影与互反射等复杂全局光照效应的泛化能力？
• RQ4 与单步CNN推理相比，对深度与光参数的迭代优化是否能提升重建精度？
• RQ5 在高度镜面反射物体上，基于CNN的方法是否能超越最先进优化方法？

主要发现

• 与先前最先进方法[Quéau et al., 2018]相比，该方法在合成数据集上的平均角度误差降低超过6°。
• 在合成与真实近场数据集上，该方法均优于优化方法[Logothetis et al., 2017; Quéau et al., 2018]以及对远场CNN的简单迁移应用。
• 定性结果表明，该方法在镜面高光区域（如大象中部）与阴影区域（如青蛙腹部）无可见形变，优于对比方法。
• 使用真实BRDF（MERL与Disney）并增强阴影与自反射效应，显著提升了对全局光照效应的鲁棒性。
• 若未对光衰减进行补偿，直接将远场CNN应用于近场图像会导致严重失真与更高的平均绝对误差（MAE），凸显了迭代补偿框架的必要性。
• 法线的迭代积分可提升光方向与衰减参数的估计精度，从而在迭代过程中逐步提高法线预测准确性。