Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Few-Shot Font Generation by Learning Fine-Grained Local Styles

Licheng Tang, Yiyang Cai|arXiv (Cornell University)|May 20, 2022
Video Analysis and Summarization被引用数 6
ひとこと要約

本稿では、コンテンツ画像とリファレンス画像間の空間的特徴をクロスアテンションで一致させることで、リファレンスグリフから微細な局所的スタイル（FLS）を学習する、少数の例からフォントを生成するFSFontというモデルを提案する。局所的スタイル表現に注目し、空間的位置ごとにそれらを集約することで、最先端の手法よりも優れたスタイルの一貫性と忠実度を達成しており、ユーザー評価と定量的指標によって検証されている。

ABSTRACT

Few-shot font generation (FFG), which aims to generate a new font with a few examples, is gaining increasing attention due to the significant reduction in labor cost. A typical FFG pipeline considers characters in a standard font library as content glyphs and transfers them to a new target font by extracting style information from the reference glyphs. Most existing solutions explicitly disentangle content and style of reference glyphs globally or component-wisely. However, the style of glyphs mainly lies in the local details, i.e. the styles of radicals, components, and strokes together depict the style of a glyph. Therefore, even a single character can contain different styles distributed over spatial locations. In this paper, we propose a new font generation approach by learning 1) the fine-grained local styles from references, and 2) the spatial correspondence between the content and reference glyphs. Therefore, each spatial location in the content glyph can be assigned with the right fine-grained style. To this end, we adopt cross-attention over the representation of the content glyphs as the queries and the representations of the reference glyphs as the keys and values. Instead of explicitly disentangling global or component-wise modeling, the cross-attention mechanism can attend to the right local styles in the reference glyphs and aggregate the reference styles into a fine-grained style representation for the given content glyphs. The experiments show that the proposed method outperforms the state-of-the-art methods in FFG. In particular, the user studies also demonstrate the style consistency of our approach significantly outperforms previous methods.

研究の動機と目的

  • 既存の少数ショットフォント生成手法がグローバルまたはコンponent単位のスタイル分離に依存するという限界に対処すること。このアプローチでは、微細な局所的スタイルの変動を捉えることができない。
  • スタイルをグローバルまたは粗いコンponent表現としてではなく、ストローク、ラジカル、エッジにわたる空間的に局所化された特徴としてモデル化すること。
  • コンテンツグリフとリファレンスグリフの間でピクセル単位の正確な空間的対応関係を学習することで、スタイル転送の忠実度を向上させること。
  • 自己再構成ブランチを用いてリファレンスエンコーダーの学習を監視することで、スタイルの一貫性と詳細回復を向上させること。
  • 中国文字の構成的ルールに基づいた幅優先探索アルゴリズムを用いて、リファレンス選択を自動化すること。

提案手法

  • リファレンスエンコーダーは、リファレンスグリフ画像から微細な局所的スタイル表現（FLS）を抽出し、特徴マップ上の各空間的位置を局所的スタイルユニットとして扱う。
  • クロスアテンションに基づくスタイル集約モジュール（SAM）は、コンテンツグリフ特徴をクエリとし、リファレンス特徴をキー／バリューとして用い、関連する局所的スタイルに注目する。
  • アテンション機構は、コンテンツグリフの各空間的位置に対して、最も適切なリファレンスからの局所的スタイルを動的に割り当て、正確なスタイル転送を可能にする。
  • 自己再構成ブランチは、自身の特徴からターゲットグリフを再構成することでリファレンスエンコーダーの学習を訓練し、対応関係の学習と詳細の保持を改善する。
  • 幅優先探索に基づくアルゴリズムは、構造的および構成的ルールに従って、各ターゲット文字の最適なリファレンスグリフを自動的に選択する。
  • 敵対的損失と知覚的損失を用いて、エンドツーエンドでモデルを訓練することで、高忠実度の生成とスタイルの一貫性を確保する。
Figure 1 : Our proposed fine-grained local style extraction and style aggregation process. Our proposed module enables fine-grained style extraction from references and learns the correspondence between content and reference, thus aggregate corresponding local styles into correct locations in conten
Figure 1 : Our proposed fine-grained local style extraction and style aggregation process. Our proposed module enables fine-grained style extraction from references and learns the correspondence between content and reference, thus aggregate corresponding local styles into correct locations in conten

実験結果

リサーチクエスチョン

  • RQ1微細な局所的スタイル表現は、グローバルまたはコンponent単位のスタイルモデリングを越えて、少数ショットフォント生成を改善できるか？
  • RQ2クロスアテンション機構は、局所レベルでコンテンツグリフとリファレンスグリフの間の空間的対応関係をどの程度効果的に学習できるか？
  • RQ3局所的スタイル特徴に注目することで、生成フォントの視覚的忠実度とスタイルの一貫性が向上するか？
  • RQ4自己再構成ブランチは、正確なスタイル対応関係の学習と微細な詳細の保持能力を向上させることができるか？
  • RQ5構成的ルールに基づいた自動リファレンス選択は、生成品質を向上させるとともに、手動でのラベル付け依存を軽減できるか？

主な発見

  • 提案手法のFSFontは、定量的指標およびユーザー評価の両面で、最先端の少数ショットフォント生成モデルを上回っている。
  • ユーザー評価では、FSFontのスタイル一貫性が従来手法よりも顕著に優れており、人間評価において統計的に有意な好みが得られている。
  • 1つまたは2つのリファレンスグリフでのみ、ストロークの端や曲率などの微細な詳細を保持した高忠実度の生成が達成されている。
  • 自己再構成ブランチのおかげで特徴のアライメントが向上し、モードクラッシュが低減され、より一貫性があり現実的な出力が得られている。
  • 幅優先探索による自動リファレンス選択は、手動ラベルなしで高品質なリファレンスセットを生成し、生成性能を向上させている。
Figure 2 : Overview of our proposed model . Our generator consists of four parts: a reference encoder $E_{r}$ , a content encoder $E_{c}$ , the Style Aggregation Module(SAM) , and a decoder $D$ . Given a content image $x_{c}$ and $k$ -shot references $\{y_{1},y_{2},...,y_{k}\}$ which is selected bas
Figure 2 : Overview of our proposed model . Our generator consists of four parts: a reference encoder $E_{r}$ , a content encoder $E_{c}$ , the Style Aggregation Module(SAM) , and a decoder $D$ . Given a content image $x_{c}$ and $k$ -shot references $\{y_{1},y_{2},...,y_{k}\}$ which is selected bas

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。