[论文解读] GramGAN: Deep 3D Texture Synthesis From 2D Exemplars

Tiziano Portenier, Siavash Bigdeli+1 more|arXiv (Cornell University)|Jun 29, 2020

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 14

一句话总结

GramGAN 提出了一种深度学习框架，能够从单张 2D 示例图像合成高质量、无限的 3D 纹理。通过结合一种受风格迁移启发的新型 GAN 损失、基于可学习噪声频率的 MLP 架构以及一种外推策略，该方法在真实感和泛化能力方面均优于先前的最先进方法，在定量指标和用户研究中表现更优。

ABSTRACT

We present a novel texture synthesis framework, enabling the generation of infinite, high-quality 3D textures given a 2D exemplar image. Inspired by recent advances in natural texture synthesis, we train deep neural models to generate textures by non-linearly combining learned noise frequencies. To achieve a highly realistic output conditioned on an exemplar patch, we propose a novel loss function that combines ideas from both style transfer and generative adversarial networks. In particular, we train the synthesis network to match the Gram matrices of deep features from a discriminator network. In addition, we propose two architectural concepts and an extrapolation strategy that significantly improve generalization performance. In particular, we inject both model input and condition into hidden network layers by learning to scale and bias hidden activations. Quantitative and qualitative evaluations on a diverse set of exemplars motivate our design decisions and show that our system performs superior to previous state of the art. Finally, we conduct a user study that confirms the benefits of our framework.

研究动机与目标

• 解决现有 3D 纹理合成方法的局限性，包括高内存消耗、多样性低以及对未见纹理泛化能力差的问题。
• 实现从单张 2D 示例图像生成高质量、无限可扩展的 3D 纹理，避免需要专家驱动的参数调优或复杂的摄影测量流程。
• 通过引入一种新颖的外推策略，利用判别器网络学习到的特征，提升对未见纹理的泛化能力。
• 通过结合风格迁移与 GAN 目标函数的混合损失，实现高感知真实感和与输入示例的强相似性。

提出的方法

• 该框架使用一种深度多层感知机（MLP），将 3D 纹理颜色作为学习到的噪声频率的函数进行生成，实现内存高效的基于点的合成。
• 提出一种新型损失函数，通过匹配判别器网络深层特征的 Gram 矩阵，将 GAN 的真实感与风格迁移的内容保真度相结合。
• 通过学习缩放和移位激活值，将输入噪声和条件示例信息注入隐藏层，提升特征表示和泛化能力。
• 引入一种外推策略，通过在学习到的判别器特征空间中微调模型，提升在训练期间未见过的纹理上的性能。
• 该方法采用基于 VGG 的风格损失作为消融基线，但当使用判别器内部特征代替时，性能更优。
• 训练过程优化合成网络，以最小化生成特征与示例特征之间的风格损失，同时保持对抗性真实感。

实验结果

研究问题

• RQ1 深度神经网络能否在保留细节和材质外观的前提下，从单张 2D 示例图像生成高质量、无限可扩展的 3D 纹理？
• RQ2 如何调整基于 GAN 的损失，以在 3D 纹理合成中同时确保高真实感和与输入示例的强相似性？
• RQ3 基于噪声频率的 MLP 架构在多大程度上能泛化到与训练集显著不同的纹理？
• RQ4 将条件信息注入隐藏层是否能改善纹理合成中的特征学习和泛化能力？
• RQ5 判别器的内部特征能否作为比预训练的 VGG 特征更有效的风格参考用于纹理合成？

主要发现

• GramGAN 的 SIFID 得分为 2.47 ± 2.23，显著优于 Henzler 等人（2.60 ± 2.85），并接近真实值（2.46 ± 2.80），表明其与示例具有高度的感知相似性。
• 模型的平均对数似然（ALL）为 -317.23 ± 74.30，表明其具有强大的密度建模能力并减少了伪影生成，尽管相较于 Henzler 等人的改进较为有限。
• 在 21 名参与者的用户研究中，GramGAN 的平均排名为 1.85 ± 0.80，与真实值无显著差异（p = 0.56），且显著优于 Henzler 等人（p < 2×10⁻¹¹）。
• 通过使用判别器特征的外推策略，SIFID 在具有挑战性的分布外示例上降至 1.46 ± 0.29，显著优于基线（11.31 ± 0.79），大幅提升了泛化能力。
• 当使用 VGG 特征而非判别器特征作为风格损失时，SIFID 升高至 1.79 ± 0.3，证实判别器的特征在基于风格的纹理合成中更具有效性。
• 3D 渲染结果表明，GramGAN 生成的纹理在感知上比 Henzler 等人的结果更接近参考图像，尤其在保持材质一致性与减少失真方面表现更优。