[论文解读] Arbitrary Style Transfer via Multi-Adaptation Network

Yingying Deng, Fan Tang+4 more|arXiv (Cornell University)|May 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 10

一句话总结

本文提出了一种用于任意风格迁移的多适应网络（MAN），通过自注意力机制解耦内容与风格表征，并引入协同适应模块以对齐风格分布与内容结构。该方法在保留细粒度内容细节的同时实现丰富、生动的风格模式迁移，取得了最先进性能，经定性与定量评估验证，内容与风格因子的分类准确率均得到提升。

ABSTRACT

Arbitrary style transfer is a significant topic with research value and application prospect. A desired style transfer, given a content image and referenced style painting, would render the content image with the color tone and vivid stroke patterns of the style painting while synchronously maintaining the detailed content structure information. Style transfer approaches would initially learn content and style representations of the content and style references and then generate the stylized images guided by these representations. In this paper, we propose the multi-adaptation network which involves two self-adaptation (SA) modules and one co-adaptation (CA) module: the SA modules adaptively disentangle the content and style representations, i.e., content SA module uses position-wise self-attention to enhance content representation and style SA module uses channel-wise self-attention to enhance style representation; the CA module rearranges the distribution of style representation based on content representation distribution by calculating the local similarity between the disentangled content and style features in a non-local fashion. Moreover, a new disentanglement loss function enables our network to extract main style patterns and exact content structures to adapt to various input images, respectively. Various qualitative and quantitative experiments demonstrate that the proposed multi-adaptation network leads to better results than the state-of-the-art style transfer methods.

研究动机与目标

• 解决在任意风格迁移中同时保留精细内容结构并迁移丰富多样的风格模式的挑战。
• 改进现有方法在大领域差异下无法有效解耦内容与风格表征的问题。
• 开发一种灵活的框架，通过可调节的风格权重与多风格插值实现可控风格迁移。
• 通过新型损失函数约束风格与内容特征的独立性，提升特征解耦程度。
• 实现高质量的风格化图像，平衡内容保留与风格生动性，并通过分类任务与用户研究加以验证。

提出的方法

• 引入两种自注意力模块：位置自注意力模块用于增强内容表征，通道自注意力模块用于优化风格表征。
• 采用协同适应（CA）模块，计算解耦后的内容与风格特征之间的非局部长程相似性，根据内容结构重新分配风格模式。
• 设计一种解耦损失函数，促使风格特征与内容特征相互独立，提升特征分离效果。
• 使用共享编码器的前馈网络进行内容与风格图像的特征提取，随后通过SA与CA模块实现自适应调制。
• 采用多尺度特征融合策略，利用深层特征（如 conv5_1）扩大感受野并增强局部模式迁移。
• 通过加权组合函数实现风格插值与可调风格强度：$ I_{cs} = \mathcal{D}(\alpha f_{cs} + (1-\alpha)f_c) $。

实验结果

研究问题

• RQ1 统一的网络架构能否有效解耦内容与风格表征以实现任意风格迁移？
• RQ2 协同适应模块如何通过将风格分布与内容结构对齐来提升风格迁移质量？
• RQ3 所提出的解耦损失在多大程度上增强了内容与风格特征的分离程度？
• RQ4 卷积层的感受野大小在多大程度上影响全局内容结构与局部风格模式的保留？
• RQ5 该模型能否支持灵活的应用，如风格插值与可调风格强度？

主要发现

• 所提方法在内容分类任务中达到34.6%的准确率，风格分类任务中达到62.9%的准确率，表明内容与风格保留之间实现了良好平衡。
• 在引入解耦损失后，模型成功保留了关键风格模式（如紫色羽毛）与显著的内容结构，定性对比结果清晰显示。
• 使用更大的感受野（通过 conv5_1 或 3×3 卷积核）会导致对局部模式的过度强调并扭曲全局内容结构，凸显感受野控制的重要性。
• 该模型在定性结果与定量指标上均优于最先进方法，包括用户研究与分类准确率。
• 通过参数 $\alpha$ 实现的风格插值与可调风格强度，支持灵活生成不同风格强度的风格化图像。
• 消融实验确认，解耦损失显著提升了特征分离效果，从而生成更连贯、更真实的风格化输出。