[论文解读] Diversified Texture Synthesis with Feed-forward Networks

Yijun Li, Fang Chen+4 more|arXiv (Cornell University)|Mar 5, 2017

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 25

一句话总结

本文提出一种单一的深度生成前馈网络，通过共享架构从多个样本中合成多样化纹理，支持用户控制的风格选择与插值。通过引入多样性损失和增量训练，该模型在保持高效性和泛化能力的同时，实现了多种纹理的高质量、多样化输出，超越了单纹理网络的局限。

ABSTRACT

Recent progresses on deep discriminative and generative modeling have shown promising results on texture synthesis. However, existing feed-forward based methods trade off generality for efficiency, which suffer from many issues, such as shortage of generality (i.e., build one network per texture), lack of diversity (i.e., always produce visually identical output) and suboptimality (i.e., generate less satisfying visual effects). In this work, we focus on solving these issues for improved texture synthesis. We propose a deep generative feed-forward network which enables efficient synthesis of multiple textures within one single network and meaningful interpolation between them. Meanwhile, a suite of important techniques are introduced to achieve better convergence and diversity. With extensive experiments, we demonstrate the effectiveness of the proposed model and techniques for synthesizing a large number of textures and show its applications with the stylization.

研究动机与目标

• 解决现有前馈纹理合成方法的局限性，包括泛化能力不足、多样性低以及视觉质量欠佳的问题。
• 实现在单一神经网络中合成多种纹理，避免为每种纹理单独训练一个网络。
• 通过确保噪声输入对输出变化产生有意义的影响，提升样本多样性，缓解‘解释抵消’效应。
• 设计一种训练策略，使网络在面对具有显著差异的统计特性和视觉特征的多种纹理时，仍能实现稳定且有效的学习。

提出的方法

• 使用一个带有转置卷积的生成器网络，输入为噪声向量和一个独热编码的选择单元，输出纹理图像。
• 引入一个选择器网络，在每个上采样层注入风格引导，提升不同纹理之间的判别能力。
• 通过减去特征均值对Gram矩阵损失进行改进，以稳定训练并提升收敛性。
• 设计一种多样性损失，惩罚小批量中不同样本之间的特征相似性，从而鼓励由噪声向量驱动的输出变化。
• 实施一种增量学习策略，在先前纹理已充分学习后，再顺序训练新纹理，从而保留先前的能力。
• 使用可学习的嵌入层将独热编码的风格标识映射为低维向量，支持插值并减少冗余。

实验结果

研究问题

• RQ1 单一前馈网络是否能够无需微调即可泛化至多种纹理，生成多样化输出？
• RQ2 网络如何在保持高视觉质量的同时，为每种纹理生成多样化样本？
• RQ3 针对具有显著差异的统计与视觉特征的纹理，哪些训练策略和损失函数能有效稳定训练？
• RQ4 能否通过可学习的风格表征，在前馈方式下实现纹理间的有意义插值？

主要发现

• 所提出的模型在使用单一共享架构的前提下，视觉质量与单纹理网络相当或更优，同时显著减小了模型尺寸。
• 多样性损失有效防止网络忽略噪声向量，即使在相同纹理和噪声输入下，也能生成感知上明显不同的输出。
• 增量学习策略显著提升了训练速度与稳定性，尤其在大规模多样化纹理训练中表现突出。
• 通过调整选择单元权重，网络可实现平滑的风格插值，生成不同纹理间的自然过渡效果。
• 嵌入层成功捕捉了纹理之间的语义关系，支持有意义的插值，并减少了独热编码带来的冗余。