[论文解读] DeLight-Net: Decomposing Reflectance Maps into Specular Materials and Natural Illumination

Stamatios Georgoulis, Konstantinos Rematas+4 more|arXiv (Cornell University)|Mar 27, 2016

Computer Graphics and Visualization Techniques参考文献 1被引用 17

一句话总结

DeLight-Net 提出了一种基于卷积神经网络（CNN）的深度学习方法，用于将反射率图（在自然光照下拍摄的球体单张2D图像）分解为镜面材质参数（Phong 模型）和高动态范围（HDR）或低动态范围（LDR）光照图。该方法仅在合成数据上进行训练，在重光照和材质重分配任务中达到最先进性能，材料变化度量指标相比先前方法最高提升三倍，并在真实图像上表现出强大的泛化能力。

ABSTRACT

In this paper we are extracting surface reflectance and natural environmental illumination from a reflectance map, i.e. from a single 2D image of a sphere of one material under one illumination. This is a notoriously difficult problem, yet key to various re-rendering applications. With the recent advances in estimating reflectance maps from 2D images their further decomposition has become increasingly relevant. To this end, we propose a Convolutional Neural Network (CNN) architecture to reconstruct both material parameters (i.e. Phong) as well as illumination (i.e. high-resolution spherical illumination maps), that is solely trained on synthetic data. We demonstrate that decomposition of synthetic as well as real photographs of reflectance maps, both in High Dynamic Range (HDR), and, for the first time, on Low Dynamic Range (LDR) as well. Results are compared to previous approaches quantitatively as well as qualitatively in terms of re-renderings where illumination, material, view or shape are changed.

研究动机与目标

• 解决将反射率图分解为其底层材质与光照成分这一具有挑战性的逆问题。
• 通过在分解后独立操控光照、材质或形状，实现高保真重渲染。
• 开发一种数据驱动方法，实现对合成与真实反射率图（包括 LDR 图像）的泛化，且无需真实世界标注。
• 通过利用深度学习建模复杂自然光照与镜面反射统计特性，改进现有固有图像分解方法。
• 证明仅在合成数据上训练的 CNN 可有效泛化至真实反射率图照片。

提出的方法

• 采用双分支 CNN 架构，从单张反射率图图像中联合预测材质参数（Phong 模型：漫反射、镜面反射与粗糙度）和高分辨率球形光照图。
• 网络仅在大规模合成数据集上进行训练，该数据集包含在多样化自然光照与材质下渲染的反射率图。
• 训练数据包含 HDR 和 LDR 版本的反射率图，附带真实材质与光照标签。
• 模型利用卷积层的空间归纳偏置，以保留光照（如窗户、天空渐变）和材质属性的精细细节。
• 探索了贪心推理策略以提升推理速度与稳定性，但联合架构性能更优。
• 该方法可使用估计的组件实现端到端的反射率图重合成，适用于新光照、材质或视角条件。

实验结果

研究问题

• RQ1 在合成数据上训练的深度 CNN 是否能准确地将真实反射率图分解为物理上合理的材质与光照成分？
• RQ2 该方法在低动态范围（LDR）图像上的泛化能力如何，其中动态范围压缩可能影响性能？
• RQ3 所预测的光照与材质参数在多大程度上可用于在新光照、材质或形状条件下重渲染场景？
• RQ4 网络是否在未显式监督此类特征（如天空渐变、窗户高光）的情况下学习到真实的光照模式？
• RQ5 在定量指标与视觉质量方面，该方法与最先进方法相比表现如何？

主要发现

• 在重合成评估中，DeLight-Net 在 HDR 和 LDR 数据上的 MSE 与 DSSIM 指标上均大幅超越最先进方法（LN NP [37]）。
• 与基线相比，该方法在材质变化重渲染质量上实现了三倍提升，表明其在材质操控任务中具有强大泛化能力。
• 出人意料的是，基于 LDR 的光照估计 MSE 低于基于 HDR 的估计，可能是因为曝光引起的白化效应降低了对极端像素值的过拟合。
• 联合 CNN 架构（Joint.）在所有指标上表现最佳，镜面材质重合成的 MSE 分别为 0.933（HDR）和 0.950（LDR），优于独立与贪心变体。
• 视觉结果表明，该模型能重建如天空渐变、窗户高光等精细光照细节，并在新材质与光照条件下生成合理重渲染结果。
• 该方法在真实反射率图上也表现出有效泛化能力，已在包含 25 种材质在 4 种自然光照下的自定义数据集上得到验证。