[论文解读] Texture Mixer: A Network for Controllable Synthesis and Interpolation of Texture

Ning Yu, Connelly Barnes+3 more|arXiv (Cornell University)|Jan 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 10

一句话总结

Texture Mixer 提出了一种深度神经网络，通过将输入纹理投影到共享潜在空间中实现线性插值，再解码回图像空间，从而实现交互式、高质量的纹理合成与插值。该方法在真实感、可控性和平滑度方面达到最先进性能，在定量指标和用户研究中均优于基线方法。

ABSTRACT

This paper addresses the problem of interpolating visual textures. We formulate this problem by requiring (1) by-example controllability and (2) realistic and smooth interpolation among an arbitrary number of texture samples. To solve it we propose a neural network trained simultaneously on a reconstruction task and a generation task, which can project texture examples onto a latent space where they can be linearly interpolated and projected back onto the image domain, thus ensuring both intuitive control and realistic results. We show our method outperforms a number of baselines according to a comprehensive suite of metrics as well as a user study. We further show several applications based on our technique, which include texture brush, texture dissolve, and animal hybridization.

研究动机与目标

• 为解决在图像空间中实现多个纹理之间逼真、可控插值的挑战。
• 在避免伪影（如鬼影、接缝和重复）的同时，实现用户对纹理位置和混合方式的直观控制。
• 开发一种前馈网络，可在交互速度下运行，并支持纹理绘画和动物杂交等多种应用。
• 训练一个统一模型，通过共享权重和共享潜在空间，联合优化重建保真度与逼真插值。

提出的方法

• 该网络采用共享编码器-解码器架构，同时在重建任务和基于条件GAN的插值任务上进行训练。
• 输入纹理被编码到共享潜在空间中，在该空间中执行线性插值、拼贴和打乱操作，以生成新的潜在表示。
• 插值任务采用判别器，确保潜在码的线性组合在图像域中生成真实、无伪影的纹理。
• 该方法引入两个潜在向量：$z^l$ 用于局部纹理建模，$z^g$ 用于全局结构建模，其中 $z^g$ 有助于提升过渡的平滑度。
• 在潜在空间中应用打乱操作，以打破空间重复性并提升视觉多样性。
• 推理过程中，用户指定源纹理和插值权重，这些输入被投影到潜在空间并解码，生成无缝、逼真的合成图像。

实验结果

研究问题

• RQ1 单一神经网络能否在可控方式下同时实现输入纹理的高保真重建与多个纹理之间的逼真插值？
• RQ2 如何利用潜在空间操作（如插值、拼贴和打乱）生成多样化、无伪影的纹理组合？
• RQ3 与单独训练相比，联合在重建和对抗性插值任务上进行训练，在视觉质量和可控性方面提升的程度如何？
• RQ4 不同架构组件（如 $z^g$、混合机制和打乱操作）对插值纹理的真实感和平滑度有何影响？
• RQ5 用户可控的纹理插值能否实现高效且实用，适用于纹理绘画和材质混合等实时应用？

主要发现

• 所提方法在所有评估指标上均达到最先进性能，包括用户偏好度，在用户研究中对所有基线方法的偏好率均达90%或以上。
• 用户研究表明，Texture Mixer 相较所有基线方法均具有统计学上显著的偏好，所有方法对之间的 p 值均小于 10^-6。
• 消融研究证实，若移除 $z^g$，过渡将变得不够平滑；若省略打乱操作，则会出现明显重复，表明二者在视觉质量中起关键作用。
• 与 AdaIN、WCT、DeepFill 和 PSGAN 等强基线相比，该方法在定量指标和定性结果上均表现更优，尤其在减少鬼影和重复伪影方面优势显著。
• 同时包含重建损失和插值损失的模型，相比仅在单一任务上训练的模型，展现出更优的泛化能力和真实感。
• 该方法支持纹理绘画、纹理渐变和动物杂交等实用应用，充分展示了其在创意工作流中的实用性。