[论文解读] Materials for Masses: SVBRDF Acquisition with a Single Mobile Phone Image

Zhengqin Li, Kalyan Sunkavalli+1 more|arXiv (Cornell University)|Apr 16, 2018

Computer Graphics and Visualization Techniques参考文献 19被引用 15

一句话总结

该论文提出了一种深度学习方法，仅通过单张手机闪光灯照明图像即可恢复空间变化的BRDF（双向反射分布函数）和表面法线。通过结合卷积神经网络（CNN）与可微渲染层、材料分类模块以及密集条件随机场（DCRF）后处理模块，该框架在合成数据和真实世界数据上均实现了最先进的SVBRDF重建质量，且采集约束极少。

ABSTRACT

We propose a material acquisition approach to recover the spatially-varying BRDF and normal map of a near-planar surface from a single image captured by a handheld mobile phone camera. Our method images the surface under arbitrary environment lighting with the flash turned on, thereby avoiding shadows while simultaneously capturing high-frequency specular highlights. We train a CNN to regress an SVBRDF and surface normals from this image. Our network is trained using a large-scale SVBRDF dataset and designed to incorporate physical insights for material estimation, including an in-network rendering layer to model appearance and a material classifier to provide additional supervision during training. We refine the results from the network using a dense CRF module whose terms are designed specifically for our task. The framework is trained end-to-end and produces high quality results for a variety of materials. We provide extensive ablation studies to evaluate our network on both synthetic and real data, while demonstrating significant improvements in comparisons with prior works.

研究动机与目标

• 实现仅通过消费级手机拍摄的单张图像，完成高保真的空间变化BRDF与法线估计。
• 通过将物理先验嵌入深度学习架构，克服单图像材质估计的病态性问题。
• 构建一个大规模、感知准确的SVBRDF数据集，专为空间变化材质估计而设计。
• 实现端到端训练，联合利用可微渲染与材质分类进行监督。
• 在多样化的现实环境和移动设备上展示模型泛化能力，且采集开销极低。

提出的方法

• 训练一个CNN，从单张手机闪光灯照明图像中回归表面法线、漫反射反照率和镜面粗糙度。
• 网络中引入可微渲染层，将估计的BRDF分量与新型光照方向重新组合，以提供额外的训练监督。
• 在网络中集成材料分类器，提供辅助监督，提升潜在表征质量。
• 采用基于物理启发的单一场和光滑性项的密集条件随机场（DCRF），利用微表面BRDF特性对网络输出进行精细化处理。
• 整个框架基于大规模合成SVBRDF数据集进行端到端训练，该数据集具备感知准确性。
• 利用闪光灯照明减少阴影并增强高频镜面高光的可见性，从而提升材质表征能力。

实验结果

研究问题

• RQ1 仅通过单张手机闪光灯照明图像，是否能够实现无需专用硬件的准确SVBRDF与法线估计？
• RQ2 如何将BRDF模型和光照交互等物理先验嵌入深度学习架构，以提升材质估计性能？
• RQ3 在合成数据上训练的CNN在不同设备上对真实世界、非受限的手机拍摄图像的泛化能力如何？
• RQ4 联合材料分类与可微渲染是否能提升SVBRDF预测的鲁棒性与准确性？
• RQ5 所提出的DCRF后处理模块如何利用微表面BRDF特性优化CNN输出？

主要发现

• 所提方法在合成与真实世界SVBRDF数据集上均实现了最先进的定量与定性结果，优于以往的单图像方法。
• 网络在不同手机设备（如华为P9、谷歌Tango、iPhone 6s）上泛化良好，表现出对设备特异性差异的强鲁棒性。
• 该方法重建出的法线图质量更高，比[10]更清晰、更精细，与光度立体法结果相当或更优。
• DCRF后处理显著提升了重建精度，通过在输出中强制满足微表面BRDF一致性。
• 每张192×192图像块的重建时间仅需2.4秒，远快于[8]的6小时基线，同时结果更准确。
• 即使在因误分类（如金属被误判）导致失败的情况下，方法仍能保持合理的重建质量，表明通过更优的语义监督仍有改进空间。