[論文レビュー] SGCE-Font: Skeleton Guided Channel Expansion for Chinese Font Generation

Jie Zhou, Yefei Wang+3 more|arXiv (Cornell University)|Nov 26, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、GANの生成器にチャネル拡張を用いて構造的スケルトン情報を統合することで、モード崩壊を効果的に低減する、新しいスケルトンガイドドチャネル拡張モジュールSGCE-Fontを提案する。この手法は、中国フォント生成の品質を著しく向上させ、複数のモデルに一般化され、FID、MSE、PSNR、SSIMといった主要な指標において最先端の手法を上回る性能を発揮する。

ABSTRACT

The automatic generation of Chinese fonts is an important problem involved in many applications. The predominated methods for the Chinese font generation are based on the deep generative models, especially the generative adversarial networks (GANs). However, existing GAN-based methods (say, CycleGAN) for the Chinese font generation usually suffer from the mode collapse issue, mainly due to the lack of effective guidance information. This paper proposes a novel information guidance module called the skeleton guided channel expansion (SGCE) module for the Chinese font generation through integrating the skeleton information into the generator with the channel expansion way, motivated by the observation that the skeleton embodies both local and global structure information of Chinese characters. We conduct extensive experiments to show the effectiveness of the proposed module. Numerical results show that the mode collapse issue suffered by the known CycleGAN can be effectively alleviated by equipping with the proposed SGCE module, and the CycleGAN equipped with SGCE outperforms the state-of-the-art models in terms of four important evaluation metrics and visualization quality. Besides CycleGAN, we also show that the suggested SGCE module can be adapted to other models for Chinese font generation as a plug-and-play module to further improve their performance.

研究の動機と目的

• 特にCycleGANのような教師なし設定においても継続的に発生する、GANベースの中国フォント生成におけるモード崩壊問題に取り組む。
• 局所的およびグローバルな文字構造を捉える構造的スケルトン情報——これを効果的なガイダンス信号として活用し、学習の安定化を図る。
• アーキテクチャの大規模な見直しを伴わずに、既存モデルを効果的に向上させる、プラグアンドプレイ可能なモジュールを開発する。
• チャネル拡張による生成器側のガイダンスが、構造的情報を判別器側に注入する手法よりも優れていることを示す。
• CycleGAN、UGATIT、StrokeGAN、FUNITを含む複数の最先端モデルにわたる一般化可能性を実証する。

提案手法

• チャネルごとの連結と1×1畳み込みを用いて、スケルトンマップと特徴マップを生成器内で融合するスケルトンガイドドチャネル拡張（SGCE）モジュールを導入する。
• スケルトントポロジーから導出される2値スケルトンマップを用いて中国文字を表現し、微細な局所的ディテールとグローバルな構造的レイアウトの両方を保持する。
• 学習可能なチャネル拡張機構を通じて、生成器の特徴空間にスケルトン情報を直接統合し、合成過程で構造的事前知識に注目できるようにする。
• さまざまなGANアーキテクチャと互換性を持つようにSGCEモジュールを設計し、既存モデルへの即時統合を可能にする。
• 敵対的損失、サイクル整合性損失、および知覚的損失に加え、スケルトンの監視により生成器内の特徴学習を強化して訓練する。
• 局所的なストロークパターンとグローバルな文字形状の両方が、生成過程で効果的にガイドされるよう、マルチスケール戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 CycleGANを用いた教師なし中国フォント生成において、スケルトンに基づく構造的ガイダンスはモード崩壊を低減できるか？
• RQ2 チャネル拡張による生成器側の構造的情報注入は、判別器側のガイダンスよりも効果的か？
• RQ3 SGCEモジュールは多様なGANアーキテクチャに一般化可能で、性能向上をもたらすか？
• RQ4 SGCEモジュールは、StrokeGAN や SQ-GAN といった既存手法と比較して、定量的指標および視覚的品質の両面で優れているか？
• RQ5 スケルトン情報の統合により、未学習または複雑な文字に対して、より正確で多様な生成が可能になるか？

主な発見

• 提案されたSGCE-Fontモデルは、すべてのフォント翻訳タスクにおいて最高の平均FIDスコアを達成し、{hc → ls}タスクで24.959のFID、{zk → zx}タスクで21.837のFIDを記録。ベースラインのCycleGANを著しく上回る。
• {ls → hc}タスクでは、FID（33.283）とMSE（0.114）の両方で最低を記録し、画像品質と再構成忠実度に優れていることが示された。
• SGCEモジュールは、元のCycleGANと比較してFIDを最大40％まで低減し、モード崩壊の強い抑制効果を示した。
• StrokeGAN、UGATIT、FUNITなどの他のモデルに対しても、SGCEモジュールを適用することで、複数のタスクにおいてFID、MSE、PSNR、SSIMが一貫して向上した。
• 図9および図10の視覚的比較から、SGCE-Fontは特に複雑またはレアな文字において、よりシャープで構造的に正確な文字を生成することが確認された。
• アブレーションスタディの結果、生成器内でのスケルトン特徴のチャネル拡張が、判別器への統合やアテンションベースのメカニズムといった代替戦略よりも効果的であることが確認された。