[论文解读] Deep Learning Methods for Calibrated Photometric Stereo and Beyond

Yakun Ju, Kin‐Man Lam+4 more|arXiv (Cornell University)|Dec 16, 2022

Advanced Vision and Imaging被引用 13

一句话总结

本文全面综述了基于深度学习的定标光度立体方法，按输入处理、监督方式和网络架构进行分类。结果表明，深度学习模型在非朗伯表面的表面法线估计方面显著优于传统非学习方法，近期模型如UniPS和SDM-UniPS实现了通用光照处理与高分辨率重建。

ABSTRACT

Photometric stereo recovers the surface normals of an object from multiple images with varying shading cues, i.e., modeling the relationship between surface orientation and intensity at each pixel. Photometric stereo prevails in superior per-pixel resolution and fine reconstruction details. However, it is a complicated problem because of the non-linear relationship caused by non-Lambertian surface reflectance. Recently, various deep learning methods have shown a powerful ability in the context of photometric stereo against non-Lambertian surfaces. This paper provides a comprehensive review of existing deep learning-based calibrated photometric stereo methods. We first analyze these methods from different perspectives, including input processing, supervision, and network architecture. We summarize the performance of deep learning photometric stereo models on the most widely-used benchmark data set. This demonstrates the advanced performance of deep learning-based photometric stereo methods. Finally, we give suggestions and propose future research trends based on the limitations of existing models.

研究动机与目标

• 基于输入处理、监督方式和网络架构，系统性地对基于深度学习的定标光度立体方法进行分类与分析。
• 在广泛使用的基准上评估三十余种深度学习模型的性能，突出其相对于传统非学习方法的优势。
• 识别当前模型在泛化至未定标光照和真实场景条件方面的局限性。
• 提出未来研究方向，包括改进的通用光照表征、与神经渲染（如NeRF）的集成，以及混合逐像素/全图特征架构。

提出的方法

• 根据强度图或图像块的处理方式，将基于深度学习的光度立体方法分类为逐像素与全图输入处理策略。
• 分析监督策略，包括使用真实法线的监督学习，以及自监督或弱监督方法。
• 回顾关键网络架构，如U-Net、注意力机制（例如自注意力），以及结合局部与全局特征学习的混合模型。
• 使用DiLiGenT等标准基准评估模型性能，重点评估在具有强镜面反射和阴影的非朗伯表面下的表现。
• 研究最新进展，如UniPS，其通过学习通用光照表征而无需依赖物理BRDF模型，从而在多种光照条件下实现鲁棒性。
• 讨论将神经渲染技术（如NeRF）与光度立体结合，以减少误差累积，并更优处理遮挡区域。

实验结果

研究问题

• RQ1 不同的输入处理策略（逐像素 vs. 全图）如何影响基于深度学习的光度立体模型的性能与泛化能力？
• RQ2 在非朗伯反射条件下实现表面法线估计的最先进性能，其关键架构与监督设计选择是什么？
• RQ3 深度学习模型在多大程度上能泛化至未定标光照条件，包括彩色、近场或空间变化的光照？
• RQ4 如何有效结合NeRF等神经渲染技术与光度立体，以提升3D重建质量与鲁棒性？
• RQ5 当前基于深度学习的光度立体模型的主要局限性是什么？如何通过改进特征提取与先验知识融合加以解决？

主要发现

• 基于深度学习的光度立体模型在非朗伯表面的表面法线估计方面显著优于传统非学习方法，尤其在镜面反射与阴影等复杂反射条件下表现更优。
• DPSN及其后续架构通过从多光源强度观测中学习灵活的数据驱动映射，超越了手工设计BRDF模型的局限，展现出卓越性能。
• UniPS的引入通过学习通用光照表征，实现了通用光照处理，使模型在平行光、空间变化光、近场光及户外光照条件下均保持鲁棒性能。
• SDM-UniPS通过建模表面点之间的非局部交互，实现了可扩展的高分辨率、无掩码重建，展现出更强的鲁棒性与细节保持能力。
• 基于NeRF的多视角光度立体方法相比传统多阶段方法减少了误差累积，并能通过神经场景表征恢复不可见的3D区域。
• 尽管取得进展，计算效率、新物体重新训练开销以及对微小光照变化的处理仍存在挑战，凸显了对更高效通用光照特征提取方法的迫切需求。