[論文レビュー] Controllable Artistic Text Style Transfer via Shape-Matching GAN

Shuai Yang, Zhangyang Wang+4 more|arXiv (Cornell University)|May 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 18

ひとこと要約

本稿では、1枚のスタイル画像からペairedデータが不要なマルチスケール形状マッピングを学習することで、高品質で多様なスタイル化テキストを維持したまま可視性を保ちつつ、新しい双方向形状マッチングフレームワークとスケール制御可能なResBlockモジュールを用いて、リアルタイムでグリフ変形度を調整可能な形状マッチングGANを提案する。

ABSTRACT

Artistic text style transfer is the task of migrating the style from a source image to the target text to create artistic typography. Recent style transfer methods have considered texture control to enhance usability. However, controlling the stylistic degree in terms of shape deformation remains an important open challenge. In this paper, we present the first text style transfer network that allows for real-time control of the crucial stylistic degree of the glyph through an adjustable parameter. Our key contribution is a novel bidirectional shape matching framework to establish an effective glyph-style mapping at various deformation levels without paired ground truth. Based on this idea, we propose a scale-controllable module to empower a single network to continuously characterize the multi-scale shape features of the style image and transfer these features to the target text. The proposed method demonstrates its superiority over previous state-of-the-arts in generating diverse, controllable and high-quality stylized text.

研究の動機と目的

• 芸術的テキストスタイル転送におけるグリフ変形度のリアルタイムで連続的な制御を可能にすること。
• マルチスケールグリフスタイル化のためのペairedトレーニングデータの欠如に対処すること。
• 真の変形レベルに依存せずに、スタイル画像とターゲットグリフ間の堅牢な形状マッピングを確立すること。
• 参照スタイルとの高い芸術的整合性を達成しながらも、グリフの可読性を維持すること。
• ダイナミックタイポグラフィーや構造・テクスチャのミックスアップを含む多様なクリエイティブな応用をサポートすること。

提案手法

• テキストからスタイル画像への形状特徴の転送（バックワード）とその逆（フォワード）を実行する双方向形状マッチング戦略を提案し、クロスドメインマッピングを堅牢に確立する。
• バックワード転送を用いてスタイル画像を複数の粗いレベルに簡略化するスケッチモジュールを導入し、トレーニング用のマルチスケールペアデータを生成する。
• 生成されたペアデータを用いて連続的な変形レベルのスタイル特徴を推定できる制御可能ResBlockモジュールを設計する。
• グリフネットワーク（形状転送用）と別々のテクスチャネットワーク（テクスチャ合成用）を備えた二本のブランチアーキテクチャを採用し、分離された制御を実現する。
• 高変形状態でもストローク構造や幹部の整合性を保つためにグリフ可読性損失を活用し、芸術性と識別可能性のバランスを取る。
• 1枚の参照スタイル画像を用いて、連続的な変形パラメータの範囲で多様なスタイル化出力を生成し、リアルタイムでのユーザーインタラクションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ペairedトレーニングデータが存在しない状況下で、芸術的テキストスタイル転送におけるグリフ変形度を連続的かつ制御可能にモデル化する方法は何か？
• RQ2 複数の変形レベルにわたり、ソーススタイル画像とターゲットグリフ間で堅牢な形状対応関係を確立する有効な方法は何か？
• RQ3 1つのディープネットワークが、連続的なスタイル度合いを調整可能なリアルタイムな多様で高品質なスタイル化テキストを生成できるか？
• RQ4 芸術的テキスト生成において、高い形状変形度でも可読性をどのように維持できるか？
• RQ5 提案手法は、構造・テクスチャミックスアップやストロークベースのアートデザインといったクリエイティブな応用をサポートできるか？

主な発見

• 提案手法は最先端手法と比較して優れたスタイル化品質を達成しており、形状の一貫性とテクスチャ忠実度が優れている。
• スケッチモジュールは形状マッチングの正確性を顕著に向上させ、高変形度でも正しい轮廓変形を可能にしている。
• グリフ可読性損失はストローク構造を効果的に保持しており、高変形状態でも断片化や不規則性を防いでいることが定性的比較で示された。
• 制御可能ResBlockにより、1つのパラメータで連続的かつリアルタイムにスタイル度合いを調整でき、ユーザーが多様な芸術的出力を探索できる。
• 本手法は、構造・テクスチャミックスアップやストロークベースのアートデザインといった新規応用を成功裏に実現し、標準的なテキストを超えた汎用性を示した。
• アブレーションスタディにより、スケッチモジュールと可読性損失の両方が、高品質で可読性があり芸術的に整合性のある結果を得る上で不可欠であることが確認された。