[论文解读] A Lightweight Approach for On-the-Fly Reflectance Estimation

Kihwan Kim, Jinwei Gu+4 more|arXiv (Cornell University)|May 19, 2017

Advanced Vision and Imaging参考文献 13被引用 11

一句话总结

本文提出了一种实时、轻量级的基于学习的方法，利用普通RGBD传感器从8位RGB图像中进行在线表面反射率估计。该方法引入了两种新颖的神经网络架构——HemiCNN与Grouplet，以及一种基于感知的损失函数，解决了颜色恒常性和尺度模糊性问题，实现在非受控环境下准确的BRDF估计，推理时间低于90ms，模型大小小于340KB。

ABSTRACT

Estimating surface reflectance (BRDF) is one key component for complete 3D scene capture, with wide applications in virtual reality, augmented reality, and human computer interaction. Prior work is either limited to controlled environments (\eg gonioreflectometers, light stages, or multi-camera domes), or requires the joint optimization of shape, illumination, and reflectance, which is often computationally too expensive (\eg hours of running time) for real-time applications. Moreover, most prior work requires HDR images as input which further complicates the capture process. In this paper, we propose a lightweight approach for surface reflectance estimation directly from $8$-bit RGB images in real-time, which can be easily plugged into any 3D scanning-and-fusion system with a commodity RGBD sensor. Our method is learning-based, with an inference time of less than 90ms per scene and a model size of less than 340K bytes. We propose two novel network architectures, HemiCNN and Grouplet, to deal with the unstructured input data from multiple viewpoints under unknown illumination. We further design a loss function to resolve the color-constancy and scale ambiguity. In addition, we have created a large synthetic dataset, SynBRDF, which comprises a total of $500$K RGBD images rendered with a physically-based ray tracer under a variety of natural illumination, covering $5000$ materials and $5000$ shapes. SynBRDF is the first large-scale benchmark dataset for reflectance estimation. Experiments on both synthetic data and real data show that the proposed method effectively recovers surface reflectance, and outperforms prior work for reflectance estimation in uncontrolled environments.

研究动机与目标

• 解决在光照和几何结构未知的非受控环境中实时进行表面反射率估计的挑战。
• 克服先前方法在计算和硬件上的限制，这些方法需要HDR图像、受控光照或数小时的优化时间。
• 实现在消费级移动设备上实时3D扫描与融合流水线中的实用集成。
• 通过创建包含5000种材质和形状的50万张RGBD图像的SynBRDF数据集，提供可扩展的反射率估计基准。
• 通过一种新型可微分损失函数，解决8位RGB输入中的尺度和颜色恒常性模糊性问题。

提出的方法

• 提出HemiCNN，该网络将稀疏、非结构化的多视角观测投影到2D图像网格上，以进行标准卷积处理。
• 引入Grouplet，一种基于轻量级MLP的架构，可直接处理未经网格投影的观测随机采样。
• 设计一种新型损失函数，结合感知约束与物理约束，以解决8位RGB输入中的尺度和颜色恒常性模糊性问题。
• 使用伽马校正模型（γ = 2.4）将sRGB强度映射到线性辐射度，从而实现对场景和背景平均辐射度的估计。
• 基于简化渲染方程提出正则化项（公式4）：$\bar{F}^\gamma \approx (\rho_d + \rho_s) \cdot \bar{B}^\gamma$，其中$\bar{F}$和$\bar{B}$分别为前景和背景强度的平均值。
• 在SynBRDF上训练网络，该数据集是一个大规模的合成数据集，包含50万张在自然光照下使用物理基础光线追踪器渲染的RGBD图像。

实验结果

研究问题

• RQ1 能否在不依赖HDR输入或受控环境的前提下，从8位RGB图像中实现实时反射率估计？
• RQ2 神经网络如何有效处理在未知光照条件下来自多个视角的非结构化、稀疏观测？
• RQ3 学习得到的损失函数在低动态范围输入中能在多大程度上解决尺度和颜色恒常性模糊性问题？
• RQ4 是否能够通过模型大小小于340KB、推理时间小于90ms的轻量级模型，在非受控环境下超越先前方法？
• RQ5 该方法在使用普通RGBD传感器捕获的真实世界数据上的表现如何？

主要发现

• 所提方法实现了每场景低于90ms的推理时间，模型大小低于340KB，适用于移动设备上的实时应用。
• 在合成数据和真实数据上的实验表明，该方法能有效恢复表面反照率和光泽度，在非受控环境中优于先前工作。
• Grouplet与HemiCNN网络在SynBRDF基准上达到最先进性能，RMSE更低，且在感知上更准确。
• 正则化项（公式4）显著提升了真实数据中亮度和光泽度的估计效果，证明其在解决尺度模糊性问题中的关键作用。
• 定性结果表明，即使在不同物体形状和光照条件下，新光照与视角下的渲染图像也与真实值高度一致。
• 该方法成功泛化到使用普通RGBD传感器捕获的真实世界数据，经补充视频和视觉对比验证。