[論文レビュー] Few-shot Font Generation by Learning Style Difference and Similarity

Xiao He, Mingrui Zhu+3 more|arXiv (Cornell University)|Jan 24, 2023

Video Analysis and Summarization被引用数 4

ひとこと要約

本稿では、対照的学習を用いてフォント間のスタイル差異と同一フォント内のスタイル類似性を学習する、少数ショットフォント生成手法DS-Fontを提案する。マルチレイヤースタイルプロジェクタとクラスターレベルの対照的スタイル損失を導入することで、最先端手法と比較して優れたスタイル一貫性と低減されたアーティファクトを達成し、FID やスタイル正確性といった主要指標においても上回っている。

ABSTRACT

Few-shot font generation (FFG) aims to preserve the underlying global structure of the original character while generating target fonts by referring to a few samples. It has been applied to font library creation, a personalized signature, and other scenarios. Existing FFG methods explicitly disentangle content and style of reference glyphs universally or component-wisely. However, they ignore the difference between glyphs in different styles and the similarity of glyphs in the same style, which results in artifacts such as local distortions and style inconsistency. To address this issue, we propose a novel font generation approach by learning the Difference between different styles and the Similarity of the same style (DS-Font). We introduce contrastive learning to consider the positive and negative relationship between styles. Specifically, we propose a multi-layer style projector for style encoding and realize a distinctive style representation via our proposed Cluster-level Contrastive Style (CCS) loss. In addition, we design a multi-task patch discriminator, which comprehensively considers different areas of the image and ensures that each style can be distinguished independently. We conduct qualitative and quantitative evaluations comprehensively to demonstrate that our approach achieves significantly better results than state-of-the-art methods.

研究の動機と目的

• 明示的な分離に依存するのではなく、スタイル関係をモデル化することで、少数ショットフォント生成における局所的歪みやスタイルの一貫性欠如といったアーティファクトを解消すること。
• 対照的学習を用いて、スタイル間の差異と同一スタイル内の類似性を捉えることで、スタイル表現を向上させること。
• 少数の参照サンプルから微細なスタイルパターンを転送しながらも、グローバルな文字構造を維持する強固な生成器を開発すること。
• 複数の空間的領域で独立してスタイルを区別できるマルチタスクパッチ識別器を設計し、識別能力を向上させること。

提案手法

• マルチレイヤースタイルプロジェクタ（MSP）を用いて、参照グリフからのスタイル表現を符号化し、階層的なスタイル特徴の学習を可能にする。
• 同一スタイルのサンプル間で類似度を最大化し、異なるスタイルのサンプル間で類似度を最小化するため、潜在空間内でクラスターレベルの対照的スタイル（CCS）損失を提案する。
• 生成器はアテンションベースのアーキテクチャを用い、グローバルな文字構造を保持しながらも、少数の参照画像からのスタイルを転送する。
• コンテンツとスタイルを複数の空間的領域で評価できるマルチタスクパッチ識別器を設計し、局所的およびグローバルな一貫性を確保する。
• 敵対的損失、L1損失、および提案された対照的スタイル損失を組み合わせた訓練フレームワークを採用し、画像品質とスタイル忠実度を最適化する。
• スタイルコードのクラス中心を格納するメモリディクショナリを用い、訓練中に効率的な検索と対照的学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スタイル間の差異と同一スタイル内の類似性をモデル化することで、少数ショットフォント生成の品質が向上し、アーティファクトが低減するか？
• RQ2 スタイル表現における対照的学習が、生成フォントにおけるスタイル一貫性の向上と局所的歪みの低減にどのように寄与するか？
• RQ3 標準的な識別器と比較して、マルチタスクパッチ識別器は、画像の異なる領域におけるスタイルの区別能力をどの程度向上させるか？
• RQ4 明示的な分離に依存するのではなく、スタイル関係を学習することで、少数の参照サンプルでの一般化性能が向上するか？
• RQ5 他の損失関数と比較して、提案されたクラスターレベルの対照的スタイル損失は、スタイル表現の質と生成忠実度においてどの程度優れているか？

主な発見

• UFSCデータセットにおいて、DS-FontはFIDスコアが最低で、スタイル分類正確性（Acc (S)）が最高を記録し、多数の指標で最良のパフォーマンスを達成した。
• UCSFデータセットでは、DS-FontはFID (S) と Acc (S) においてすべてのベースラインを上回り、特徴分布の整合性とスタイル認識の優れた性能を示した。
• CCS損失を含むモデルは、CCS損失を含まないアブレーションバージョンと比較して、スタイル分類正確性が著しく向上（一部のスプリットで95％まで）し、FIDスコアも12％低減した。
• 定性的な結果から、DS-Fontは微細なストロークの詳細とグローバル構造を効果的に保持しているのに対し、LF-Font や MX-Font などの手法は構造的整合性を維持できず、複雑なスタイルを生成できなかった。
• マルチタスクパッチ識別器は、標準パッチ識別器および単一タスク識別器を上回り、特にコンテンツに配慮した指標と視覚的品質において優れた性能を示した（図5参照）。
• アブレーションスタディにより、CCS損失が明確なスタイル表現を学習するために不可欠であることが確認され、その除去により顕著なアーティファクトとスタイル忠実度の低下が生じた。