[論文レビュー] Diff-Font: Diffusion Model for Robust One-Shot Font Generation

Haibin He, Xinyuan Chen+5 more|arXiv (Cornell University)|Dec 12, 2022

Video Analysis and Summarization被引用数 7

ひとこと要約

Diff-Font は、コンテンツ埋め込み、スタイルリファレンス画像、および細分化されたストローク/コンポーネント条件を用いて、条件付き生成タスクとしてのフォント生成を扱う、拡散モデルに基づくフレームワークを提案する。本手法は、中国語や韓国語の複雑な文字においても、スタイルの忠実度と構造的整合性に優れ、安定した学習とベンチマークデータセットにおける優れた定量的結果を達成し、最先端の性能を実現する。

ABSTRACT

Font generation is a difficult and time-consuming task, especially in those languages using ideograms that have complicated structures with a large number of characters, such as Chinese. To solve this problem, few-shot font generation and even one-shot font generation have attracted a lot of attention. However, most existing font generation methods may still suffer from (i) large cross-font gap challenge; (ii) subtle cross-font variation problem; and (iii) incorrect generation of complicated characters. In this paper, we propose a novel one-shot font generation method based on a diffusion model, named Diff-Font, which can be stably trained on large datasets. The proposed model aims to generate the entire font library by giving only one sample as the reference. Specifically, a large stroke-wise dataset is constructed, and a stroke-wise diffusion model is proposed to preserve the structure and the completion of each generated character. To our best knowledge, the proposed Diff-Font is the first work that developed diffusion models to handle the font generation task. The well-trained Diff-Font is not only robust to font gap and font variation, but also achieved promising performance on difficult character generation. Compared to previous font generation methods, our model reaches state-of-the-art performance both qualitatively and quantitatively.

研究の動機と目的

• GANベースの1ショットフォント生成における限界、すなわち不安定な学習、低いスタイル転送忠実度、および複雑な文字での失敗を解消すること。
• 中国語や韓国語のようなグリフ豊富な言語における、正確な構造モデリングを要する、耐障害性で高忠実度のフォント生成を可能にすること。
• コンテンツ、スタイル、構造的コンponentsを分離することで、制御性と品質を向上させる統合的で条件付き生成フレームワークの開発。
• 拡散モデルが、従来 GAN が支配的であった分野であるフォント生成において有効であることを示すこと。
• 複数のスクリプトとデータセットにおいて、定性的および定量的評価の両面で最先端の性能を達成すること。

提案手法

• 本手法は、コンテンツを学習済みの埋め込みトークンで表現し、スタイルを1枚のリファレンス画像で条件づける、条件付き拡散プロセスとしてフォント生成を定式化する。
• ストロークやコンポーネントマップなどの細分化された構造的条件を組み込むことで、中国語や韓国語の複雑なグリフにおいても文字の整合性を保持する。
• コンテンツ、スタイル、構造的条件によってガイドされる、反復的なノイズ除去による画像生成を実行する多条件付きノイズ除去拡散モデルを訓練する。
• 2段階の訓練プロセスを採用：まず大規模データセットでコンテンツとスタイル条件を用いて学習し、次に構造的条件を追加して微調整することで忠実度を向上させる。
• 推論時にコンテンツおよびストローク条件のガイドスケールを最適化し、忠実度と多様性のバランスを取る。最適な設定は s₁=3、s₂=3 である。
• 本フレームワークは言語に依存せず、コンテンツとスタイル条件のみを用いることで、ラテン文字やギリシャ文字のスクリプトにも一般化可能であり、広範な適用性を示す。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、中国語や韓国語のような複雑なスクリプトにおいて、安定的かつ高忠実度の1ショットフォント生成を達成できるか？
• RQ2 ストロークおよびコンポーネントレベルの構造的条件を組み込むことで、複雑な文字の生成品質はどのように向上するか？
• RQ3 提案された条件付き拡散フレームワークは、既存の GAN ベース手法に比べ、スタイル転送の正確性と構造的保存性の両面で優れているか？
• RQ4 推論時にコンテンツと構造的ガイドのバランスを最適化するには、どのような設定が生成品質を最大化するか？
• RQ5 構造が単純なスクリプト、例えばラテン文字やギリシャ文字に対しても、追加の構造的条件なしに本フレームワークは効果的に一般化できるか？

主な発見

• Diff-Font は中国語フォント生成において最先端の性能を達成し、テストセットにおける Fréchet Inception Distance (FID) は 16.20 であり、先行手法を上回る。
• 韓国語スクリプトのベンチマークにおいて、Diff-Font は FID 10.69 を達成し、DG-Font (43.36) や MX-Font (47.05) より顕著に低い値を示しており、優れた生成品質を裏付けている。
• コンテンツおよびストローク条件の最適ガイドスケールは s₁=3 および s₂=3 であり、この設定で最高の SSIM (0.722) と最低の RMSE (0.277) および LPIPS (0.104) を達成した。
• アブレーションスタディの結果、ストローク数エンコーディングを用いることで、ストローク条件なしまたは1ビットエンコーディングよりも生成品質が向上し、FID および LPIPS が低減した。
• モデルはラテン文字やギリシャ文字のスクリプトに対しても効果的に一般化され、構造的アノテーションを必要とせずに高品質な結果を生成した。
• 強力な性能を発揮する一方で、極めて複雑な構造やレアなスタイルの文字では失敗ケースが依然として存在し、レアまたは分布外の例に対する制限が示唆された。