[论文解读] Image-based remapping of spatially-varying material appearance

Alejandro Sztrajman, Jaroslav Křivánek+2 more|arXiv (Cornell University)|Aug 20, 2018

Image Processing and 3D Reconstruction参考文献 8被引用 4

一句话总结

本文提出一种基于图像的方法，可在无法访问着色器实现的情况下，自动在不同渲染系统之间映射空间变化的BRDF。通过使用受控光照下的渲染图像，利用SSIM比较外观，实现鲁棒的参数转换，并进一步引入一种参数回归模型，实现快速、实时的纹理贴图重映射，其外推性能优于现有方法。

ABSTRACT

BRDF models are ubiquitous tools for the representation of material appearance. However, there is now an astonishingly large number of different models in practical use. Both a lack of BRDF model standardisation across implementations found in different renderers, as well as the often semantically different capabilities of various models, have grown to be a major hindrance to the interchange of production assets between different rendering systems. Current attempts to solve this problem rely on manually finding visual similarities between models, or mathematical ones between their functional shapes, which requires access to the shader implementation, usually unavailable in commercial renderers. We present a method for automatic translation of material appearance between different BRDF models, which uses an image-based metric for appearance comparison, and that delegates the interaction with the model to the renderer. We analyse the performance of the method, both with respect to robustness and visual differences of the fits for multiple combinations of BRDF models. While it is effective for individual BRDFs, the computational cost does not scale well for spatially-varying BRDFs. Therefore, we further present a parametric regression scheme that approximates the shape of the transformation function and generates a reduced representation which evaluates instantly and without further interaction with the renderer. We present respective visual comparisons of the remapped SVBRDF models for commonly used renderers and shading models, and show that our approach is able to extrapolate transformed BRDF parameters better than other complex regression schemes.

研究动机与目标

• 解决商业渲染器之间BRDF模型缺乏标准化的问题，该问题阻碍了资产交换。
• 克服需要访问着色器或过度简化参数映射的手动或启发式映射方法的局限性。
• 开发一种自动、与渲染器无关的方法，仅通过输入参数和输出渲染结果，实现不同BRDF模型之间的材质外观转换。
• 通过参数回归降低计算成本，实现高效的空间变化BRDF（SVBRDF）重映射。
• 在多种BRDF和光照条件下，提升重映射材质的视觉保真度和鲁棒性。

提出的方法

• 通过在相同光照条件下对同一材质的渲染结果进行结构相似性（SSIM）的基于图像的外观比较，量化BRDF差异。
• 采用头灯或非正前方光照设置，以在多个方向采样BRDF响应，确保优化所需的充分光照。
• 通过数值最小化参考BRDF与目标BRDF渲染结果之间的SSIM差异，执行参数优化。
• 使用多项式拟合构建参数回归模型，以近似BRDF参数之间的变换函数。
• 在一组采样的参数对上训练回归模型，生成紧凑且可快速评估的表示，用于实时SVBRDF重映射。
• 通过组合多个BRDF对的回归模型，支持转换的链式处理，实现多步骤重映射工作流。

实验结果

研究问题

• RQ1 在无法访问着色器代码的情况下，基于图像的度量（如SSIM）是否能有效捕捉BRDF之间的感知差异？
• RQ2 该重映射过程在多种BRDF模型下，尤其是在不同光照和材质类型下，是否具有鲁棒性？
• RQ3 参数回归模型是否能以最少的渲染器交互，准确近似BRDF参数变换？
• RQ4 与支持向量回归等现有方法相比，所提出的回归方法是否在未见参数范围上具有更好的泛化能力？
• RQ5 重映射过程中光照配置如何影响最终材质外观的视觉质量和稳定性？

主要发现

• 基于图像的重映射方法在多种BRDF组合中实现了高视觉保真度，SSIM优化有效最小化了感知差异。
• 与头灯照明相比，非正前方照明（例如θₗ = 45°）将平均差异误差降低了最多10%，提升了鲁棒性。
• 参数回归模型可实现对重映射SVBRDF纹理贴图的即时评估，无需进一步与渲染器交互。
• 与支持向量回归相比，该回归模型在未训练参数区域表现出更优的外推性能。
• 视觉对比结果表明，该方法在复杂材质（如划痕金、蓝色塑料和青铜雕像）上均能产生一致且视觉上合理的结果。
• 该方法支持转换的链式处理，可在多渲染器工作流中实现多个BRDF模型之间的无缝过渡。