[論文レビュー] Look Closer to Supervise Better: One-Shot Font Generation via Component-Based Discriminator

Yuxin Kong, Canjie Luo+5 more|arXiv (Cornell University)|Apr 30, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、コンポーネントに注意を向けるモジュール（CAM）を用いてコンポーネントレベルで生成を監視する、1ショットフォント生成フレームワークであるCG-GANを提案する。この手法により、スタイルの一貫性と構造的正確性が向上する。アテンションベースの抽出とマルチタスク識別を介して粗い粒度の監視を細かいコンポーネントレベルのフィードバックに置き換えることで、CG-GANは1ショット中国フォント生成において最先端の性能を達成し、手書き単語合成やシーンテキスト編集への一般化も可能である。

ABSTRACT

Automatic font generation remains a challenging research issue due to the large amounts of characters with complicated structures. Typically, only a few samples can serve as the style/content reference (termed few-shot learning), which further increases the difficulty to preserve local style patterns or detailed glyph structures. We investigate the drawbacks of previous studies and find that a coarse-grained discriminator is insufficient for supervising a font generator. To this end, we propose a novel Component-Aware Module (CAM), which supervises the generator to decouple content and style at a more fine-grained level, i.e., the component level. Different from previous studies struggling to increase the complexity of generators, we aim to perform more effective supervision for a relatively simple generator to achieve its full potential, which is a brand new perspective for font generation. The whole framework achieves remarkable results by coupling component-level supervision with adversarial learning, hence we call it Component-Guided GAN, shortly CG-GAN. Extensive experiments show that our approach outperforms state-of-the-art one-shot font generation methods. Furthermore, it can be applied to handwritten word synthesis and scene text image editing, suggesting the generalization of our approach.

研究の動機と目的

• 少量のフォント生成における粗い粒度の監視の限界に対処する。既存手法は局所的なスタイルパターンやグリフ構造を保持できない。
• モデルの複雑さを増やすのではなく、具体的にはコンポーネントレベルというより細かい粒度での監視を強化することで、生成器の性能を向上させる。
• 事前に定義されたコンポーネントカテゴリに依存する従来のコンポーネントベース手法の制限を超えて、未観測のフォントスタイルや語彙外の文字への一般化を可能にする。
• フォント生成を超えて、手書き単語合成やシーンテキスト編集といった関連タスクへの応用を拡張し、広範な適用可能性を示す。

提案手法

• 入力グリフからコンポーネントを抽出・局所化するためのアテンション機構を用いたコンポーネントに注意を向けるモジュール（CAM）を導入する。
• コンポーネントレベルのリアリズムおよびスタイル分類識別器を用いて、各コンポーネントごとのフィードバックを提供し、画像の真正性とスタイルの一貫性を向上させる。
• 3つのコンポーネントレベルの損失関数を用いる：構造保持損失（$\mathcal{L}_{strc}$）、スタイルマッチング損失（$\mathcal{L}_{sty}$）、コンポーネントリアリズム損失（$\mathcal{L}_{dcomp}$）を用いたマルチオブジェクティブな学習。
• 敵対的学習とコンポーネントレベルの監視を組み合わせ、構造的に正しい、スタイル的に一貫性のある、そして現実的なグリフの生成を生成器に誘導する。
• 教師ありペアデータを必要としない非ペア設定で生成器を学習する。これにより、参照フォントとターゲットフォント間のペアデータの必要性を回避する。
• 前景・背景干渉を低減するため、複数段階のレンダリングを経由せずに直接編集済み画像を生成することで、シーンテキスト編集への拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルや文字レベルの監視と比較して、コンポーネントレベルの監視が1ショットフォント生成を著しく改善できるか？
• RQ2 コンポーネントレベルでスタイルとコンテンツを分離することで、局所的なグリフ構造やフォント固有の詳細がよりよく保持されるか？
• RQ3 細かいコンポーネントレベルのフィードバックによって、比較的単純な生成器でも最先端の結果を達成できるか？
• RQ4 提案されたフレームワークは未観測のフォントスタイルや語彙外の文字に対しても一般化可能か？
• RQ5 このフレームワークは、手書き単語合成やシーンテキスト編集といった関連タスクへも拡張可能か？

主な発見

• CG-GANは1ショット中国フォント生成ベンチマークでFIDスコア17.94を達成し、ピクセルレベル（51.44）、文字レベル（33.21）、ベースライン（49.09）の監視手法を著しく上回った。
• コンポーネントレベルの監視により、SSIMは0.7568に向上し、RMSEは0.0218に低下、LPIPSは0.2058にまで低下し、優れた画像品質と構造的正確性を示した。
• アブレーションスタディの結果、構造保持損失、スタイルマッチング損失、リアリズム損失という3つのコンポーネントレベル損失がすべて性能向上に寄与しており、各段階で段階的かつ顕著な向上が得られた。
• 未観測のスタイルや語彙外の文字に対しても良好な一般化性能を示し、OOV-UではFIDが113.01、IV-Uでは110.07を記録し、これらの困難な状況下でも従来手法を上回った。
• シーンテキスト編集における視覚的結果から、CG-GANは複数段階のレンダリングを経由せずに高品質で現実的な編集を生成でき、前景・背景干渉を効果的に低減した。
• 筆者のスタイルに依存しない手書き生成においても優れた性能を発揮し、FIDが19.03を記録。これはHiGAN（17.28）とScratchGAN（23.78）を上回り、多様なテキストスタイルへの強力な一般化能力を示した。