[论文解读] LIME: Live Intrinsic Material Estimation

Abhimitra Meka, Maxim Maximov+5 more|arXiv (Cornell University)|Jan 3, 2018

Advanced Vision and Imaging参考文献 2被引用 15

一句话总结

LIME 首次提出一种实时端到端方法，仅从单张单目彩色图像即可估计固有材质属性——漫反射和镜面反照率、光泽度以及前景分割。该方法利用基于图像空间监督的可微分感知渲染损失，通过深度编码器-解码器网络实现，支持实时混合现实应用，如虚拟材质克隆和光照一致的AR集成，达到实时帧率。

ABSTRACT

We present the first end to end approach for real time material estimation for general object shapes with uniform material that only requires a single color image as input. In addition to Lambertian surface properties, our approach fully automatically computes the specular albedo, material shininess, and a foreground segmentation. We tackle this challenging and ill posed inverse rendering problem using recent advances in image to image translation techniques based on deep convolutional encoder decoder architectures. The underlying core representations of our approach are specular shading, diffuse shading and mirror images, which allow to learn the effective and accurate separation of diffuse and specular albedo. In addition, we propose a novel highly efficient perceptual rendering loss that mimics real world image formation and obtains intermediate results even during run time. The estimation of material parameters at real time frame rates enables exciting mixed reality applications, such as seamless illumination consistent integration of virtual objects into real world scenes, and virtual material cloning. We demonstrate our approach in a live setup, compare it to the state of the art, and demonstrate its effectiveness through quantitative and qualitative evaluation.

研究动机与目标

• 实现无需人工分割的通用物体形状实时单目材质估计。
• 从单张RGB图像中同时估计完整的材质属性——漫反射和镜面反照率、光泽度以及分割。
• 通过可微分且基于感知的渲染损失，克服逆向渲染的病态性。
• 支持实时混合现实应用，如虚拟材质克隆和光照一致的AR。
• 在具有感知分割光泽度区间的合成数据上进行训练，以避免对高度反光材质的偏差。

提出的方法

• 使用深度编码器-解码器U-Net架构预测固有图像层：漫反射阴影、镜面阴影和镜像。
• 采用一种新颖的感知渲染损失，模拟真实世界的图像形成过程，并在推理过程中实现中间监督。
• 通过在图像空间对固有层进行监督，将材质估计与形状估计解耦，避免对表面法线的依赖。
• 将镜面光泽度分类为八个具有感知意义的区间，而非回归，以避免高估。
• 利用预测的固有层上的感知渲染损失，实现对材质参数回归的自监督。
• 支持室内和室外光照条件，并在有深度信息时可提取低频和高频光照。

实验结果

研究问题

• RQ1 能否从单张单目RGB图像中实时估计任意物体形状的固有材质属性？
• RQ2 深度学习模型能否在无显式形状监督的情况下准确分离漫反射和镜面反照率？
• RQ3 基于感知动机的渲染损失是否能提升固有分解和材质估计的质量？
• RQ4 在真实世界材质估计任务中，光泽度分类是否优于回归？
• RQ5 该方法能否实现实时无缝的混合现实应用，如虚拟材质克隆？

主要发现

• 该方法在视频帧率下实现实时性能，支持材质克隆和AR集成等实时应用。
• 将镜面光泽度分类为八个感知分割的区间优于回归，后者往往高估镜面反射。
• 所提出的感知渲染损失通过模拟真实图像形成过程，带来更准确和逼真的材质估计。
• 与以往仅关注室外光照的方法不同，该方法能有效处理复杂的室内光照条件。
• 该方法可泛化至任意物体形状，无需人工分割或形状先验。
• 定量评估显示，在固有分解和材质估计指标上，该方法优于当前最先进方法。