[论文解读] Controllable Artistic Text Style Transfer via Shape-Matching GAN

Shuai Yang, Zhangyang Wang+4 more|arXiv (Cornell University)|May 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 18

一句话总结

本文提出一种形状匹配生成对抗网络（Shape-Matching GAN），用于可控的美术风格文本迁移，通过新颖的双向形状匹配框架和可缩放的残差块模块，实现实时调整字形形变程度。该方法通过从单张风格图像中学习多尺度形状映射，无需成对训练数据，实现了高质量、多样化的风格化文本，同时保持了可读性。

ABSTRACT

Artistic text style transfer is the task of migrating the style from a source image to the target text to create artistic typography. Recent style transfer methods have considered texture control to enhance usability. However, controlling the stylistic degree in terms of shape deformation remains an important open challenge. In this paper, we present the first text style transfer network that allows for real-time control of the crucial stylistic degree of the glyph through an adjustable parameter. Our key contribution is a novel bidirectional shape matching framework to establish an effective glyph-style mapping at various deformation levels without paired ground truth. Based on this idea, we propose a scale-controllable module to empower a single network to continuously characterize the multi-scale shape features of the style image and transfer these features to the target text. The proposed method demonstrates its superiority over previous state-of-the-arts in generating diverse, controllable and high-quality stylized text.

研究动机与目标

• 实现实时、连续控制艺术风格文本迁移中的字形形变程度。
• 解决多尺度字形风格化中缺乏成对训练数据的问题。
• 在不依赖真实形变水平的情况下，建立风格图像与目标字形之间的稳健形状映射。
• 在实现与参考风格高度一致的艺术效果的同时，保持字形的可读性。
• 支持多样化的创意应用，如动态字体制作和结构-纹理融合设计。

提出的方法

• 提出一种双向形状匹配策略，将形状特征从文本传输到风格图像（反向），再从风格图像传回文本（正向），以建立跨域的稳健映射。
• 引入草图模块，通过反向传输将风格图像简化为多个粗粒度层级，生成用于训练的多尺度配对数据。
• 设计可调控的残差块模块（Controllable ResBlock），利用生成的配对数据，学习在连续形变级别上推断风格特征。
• 采用双分支网络架构：字形网络用于形状迁移，独立的纹理网络用于纹理合成，实现解耦控制。
• 使用字形可读性损失，在高形变情况下保留笔画结构和主干完整性，平衡艺术性与可识别性。
• 利用单张参考风格图像，通过连续形变参数生成多样化的风格化输出，支持实时用户交互。

实验结果

研究问题

• RQ1 在缺乏成对训练数据的情况下，如何实现艺术风格文本迁移中字形形变程度的连续建模与控制？
• RQ2 在多个形变级别下，如何有效建立源风格图像与目标字形之间的稳健形状对应关系？
• RQ3 单一深度神经网络能否实现实时、多样化、高质量的可调艺术风格文本生成？
• RQ4 在艺术风格文本生成过程中，如何在高形变水平下保持字形可读性？
• RQ5 所提方法能否支持如结构-纹理融合设计和基于笔画的艺术设计等创意应用？

主要发现

• 所提方法在风格化质量上优于当前最先进方法，形状一致性与纹理保真度更优。
• 草图模块显著提升了形状匹配精度，即使在高形变水平下也能实现正确的轮廓形变。
• 字形可读性损失有效保留了笔画结构，防止高形变时出现断裂或不规则现象，定性对比结果清晰显示。
• 可调控残差块（Controllable ResBlock）通过单一参数实现了风格程度的连续、实时调节，使用户可探索多样化的艺术输出。
• 该方法成功支持了结构-纹理融合设计和基于笔画的艺术设计等新型应用，展现出超越标准文本的泛化能力。
• 消融实验验证了草图模块与可读性损失对实现高质量、可读性强且艺术风格一致结果的必要性。