[论文解读] ControlMat: A Controlled Generative Approach to Material Capture

Giuseppe Vecchio, R Víctor San Martín+5 more|arXiv (Cornell University)|Sep 4, 2023

Generative Adversarial Networks and Image Synthesis参考文献 61被引用 4

一句话总结

ControlMat 引入了一种基于扩散的生成框架，能够从单张在非受控光照条件下的照片中推断出高分辨率、可拼接的、基于物理的材质属性（基础颜色、粗糙度、金属度、法线、高度、不透明度）。通过将潜在扩散模型与 ControlNet 条件控制、噪声滚动、分块扩散以及多尺度推理相结合，该方法实现了高保真度、可拼接的材质生成，且优于以往的优化方法和基于 GAN 的方法。

ABSTRACT

Material reconstruction from a photograph is a key component of 3D content creation democratization. We propose to formulate this ill-posed problem as a controlled synthesis one, leveraging the recent progress in generative deep networks. We present ControlMat, a method which, given a single photograph with uncontrolled illumination as input, conditions a diffusion model to generate plausible, tileable, high-resolution physically-based digital materials. We carefully analyze the behavior of diffusion models for multi-channel outputs, adapt the sampling process to fuse multi-scale information and introduce rolled diffusion to enable both tileability and patched diffusion for high-resolution outputs. Our generative approach further permits exploration of a variety of materials which could correspond to the input image, mitigating the unknown lighting conditions. We show that our approach outperforms recent inference and latent-space-optimization methods, and carefully validate our diffusion process design choices. Supplemental materials and additional details are available at: https://gvecchio.com/controlmat/.

研究动机与目标

• 为解决在非受控光照条件下单图像材质捕获的病态问题，将其建模为可控的生成合成任务。
• 实现在无需受控光照或多次拍摄的情况下，从单张输入图像生成高分辨率、可拼接且符合物理规律的材质。
• 通过利用扩散模型的稳定性和可控性，克服基于 GAN 和潜在优化方法的局限性，如模式崩溃和不稳定性。
• 设计一种支持任意分辨率生成的扩散推理过程，同时保持可拼接性并最小化伪影。
• 通过消融实验和与最先进方法的定量比较，验证架构和推理时改进的有效性。

提出的方法

• ControlMat 使用在 Substance 3D Materials 数据库中生成的 1000 万份 PBR 材质渲染图像上预训练的潜在扩散模型（MatGen），以生成 9 通道的 SVBRDF 输出。
• 训练一个 ControlNet，使其能够基于单张输入照片对扩散过程进行条件控制，从而实现图像引导的材质属性生成。
• 在去噪过程中引入噪声滚动，以强制实现周期性边界条件，从而实现可拼接的输出生成。
• 采用分块扩散和解码技术以降低峰值显存消耗，实现在恒定显存使用下生成最高达 4K 分辨率的图像。
• 使用多尺度扩散以提升特征保真度，通过重叠区域的融合和均值匹配来消除接缝。
• 应用边缘修复以纠正错位并保持结构完整性，从而在实现可拼接性时维持质量。

实验结果

研究问题

• RQ1 能否有效将扩散模型基于单张、非受控光照的照片进行条件控制，以生成高分辨率、基于物理且可拼接的材质？
• RQ2 如何修改扩散采样过程，以在不损害分辨率或质量的前提下确保可拼接性？
• RQ3 多尺度、分块和滚动噪声策略在有限显存下实现高分辨率生成中分别起到什么作用？
• RQ4 与基于优化或 GAN 的方法相比，该生成方法在保真度、多样性以及对光照变化的鲁棒性方面表现如何？
• RQ5 该模型在结构化或随机性材质上的泛化能力如何？失败通常出现在哪些情况？

主要发现

• 与近期的推理和潜在优化方法相比，ControlMat 在定性和定量指标上均表现更优，包括基于 GAN 和 CLIP 的图像翻译方法。
• 消融实验表明，噪声滚动、分块解码、均值匹配和多尺度扩散等各组件均显著提升了可拼接性并减少了伪影。
• 通过采用分块解码，峰值显存消耗从 20GB 降低至 14GB（在 2K 分辨率下），从而实现了此前不可能的 4K 生成。
• 该方法成功生成了 4K 可拼接材质，接缝极少且信号保持良好，已在补充材料中得到验证。
• 尽管是生成式方法，ControlMat 仍能产生高感知保真度的结果，但在强暗角等复杂情况下可能出现轻微颜色偏移或金属度误判。
• 该方法对闪光灯拍摄的输入也表现出良好泛化能力，表明未来在采集精度方面具有改进潜力。