[论文解读] MATLABER: Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR

Xudong Xu, Zhaoyang Lyu+2 more|arXiv (Cornell University)|Aug 18, 2023

Image Processing and 3D ReconstructionComputer Science被引用 3

一句话总结

MATLABER 提出了一种基于潜在 BRDF 自编码器的、面向材质的文本到 3D 生成框架，该自编码器在真实世界 BRDF 数据集上进行训练，以实现材质与环境光照的解耦。通过预测潜在 BRDF 编码而非原始 BRDF 参数，该方法实现了高保真、逼真的材质，支持重新布光和材质编辑，在真实感、细节和解耦方面优于先前方法。

ABSTRACT

Based on powerful text-to-image diffusion models, text-to-3D generation has made significant progress in generating compelling geometry and appearance. However, existing methods still struggle to recover high-fidelity object materials, either only considering Lambertian reflectance, or failing to disentangle BRDF materials from the environment lights. In this work, we propose Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR ( extbf{MATLABER}) that leverages a novel latent BRDF auto-encoder for material generation. We train this auto-encoder with large-scale real-world BRDF collections and ensure the smoothness of its latent space, which implicitly acts as a natural distribution of materials. During appearance modeling in text-to-3D generation, the latent BRDF embeddings, rather than BRDF parameters, are predicted via a material network. Through exhaustive experiments, our approach demonstrates the superiority over existing ones in generating realistic and coherent object materials. Moreover, high-quality materials naturally enable multiple downstream tasks such as relighting and material editing. Code and model will be publicly available at \url{https://sheldontsui.github.io/projects/Matlaber}.

研究动机与目标

• 解决现有文本到 3D 方法在生成高保真、逼真材质方面，且与环境光照解耦的局限性。
• 利用大规模真实世界 BRDF 数据集（如 TwoShotBRDF）学习潜在空间中自然材质分布的平滑、自然分布。
• 通过生成准确、可编辑的 BRDF 表示，支持下游应用如重新布光和材质编辑。
• 通过用潜在码优化替代直接预测 BRDF 参数，提升文本到 3D 生成中外观质量与一致性。

提出的方法

• 在大规模真实世界 BRDF 数据（如 TwoShotBRDF）上训练一种新颖的潜在 BRDF 自编码器，以学习表示自然材质分布的平滑、连续潜在空间。
• 该自编码器将原始 BRDF 映射为紧凑、解耦的潜在码，作为文本到 3D 流水线中材质生成的先验。
• 在文本到 3D 生成过程中，材质网络基于文本提示预测潜在 BRDF 嵌入，而非直接预测原始 BRDF 参数。
• 该方法采用基于扩散的 3D 生成框架（如 SDS 损失）结合 NeRF 或 DMTet 表示，其中外观通过预测的潜在 BRDF 编码进行优化。
• 潜在空间的平滑性确保在不同光照条件下仍能生成逼真且一致的材质。
• 该框架通过潜在 BRDF 编码的插值支持重新布光与材质编辑，实现材质类型之间的自然过渡。

实验结果

研究问题

• RQ1 在真实世界 BRDF 数据上训练的潜在 BRDF 自编码器，能否在文本到 3D 生成中有效实现材质与环境光照的解耦？
• RQ2 与直接预测原始 BRDF 参数相比，预测潜在 BRDF 编码是否能带来更逼真、更一致的材质生成？
• RQ3 生成的 BRDF 材质能否支持实际的下游任务，如重新布光与材质编辑？
• RQ4 与最先进文本到 3D 模型相比，该方法在材质真实感、细节和解耦方面表现如何？

主要发现

• 用户研究证实，MATLABER 在材质真实感、细节丰富度和解耦方面优于 DreamFusion、Magic3D 和 Fantasia3D。
• 80 名参与者的用户研究表明，MATLABER 在真实感、细节和解耦方面全面领先基线模型，尤其在解耦评分上具有显著优势。
• 该方法可在多种 HDR 环境贴图下实现逼真的重新布光，不同光照条件下外观变化一致且自然。
• 通过潜在码混合实现的材质插值可产生平滑、视觉上可信的材质过渡，例如高脚杯上从金到银的自然渐变。
• 该框架支持高保真材质编辑与场景操作，实现了以往文本到 3D 模型难以实现的应用。
• 尽管材质质量高，但在新型光照条件下仍会出现伪影，原因在于几何结构不完美，提示未来需在几何优化方面进一步研究。