[論文レビュー] XMP-Font: Self-Supervised Cross-Modality Pre-training for Few-Shot Font Generation

Wei Liu, Fangyue Liu+3 more|arXiv (Cornell University)|Apr 11, 2022

Video Analysis and Summarization被引用数 5

ひとこと要約

XMP-Font は、グリフ画像とストロークラベルの両方に条件付けられたトランスフォーマー基盤のエンコーダーを用いて、自己教師付きクロスモダリティ事前学習フレームワークを提案し、少数ショットフォント生成のための統合的・マルチスケールのスタイル表現を学習する。事前学習段階で微調整を行わず、ストロークレベルの監督を活用することで、1つの参照グリフのみを用いて未観測フォントドメインで28%低い悪影響率と記録的な87.5%の成功率を達成した。

ABSTRACT

Generating a new font library is a very labor-intensive and time-consuming job for glyph-rich scripts. Few-shot font generation is thus required, as it requires only a few glyph references without fine-tuning during test. Existing methods follow the style-content disentanglement paradigm and expect novel fonts to be produced by combining the style codes of the reference glyphs and the content representations of the source. However, these few-shot font generation methods either fail to capture content-independent style representations, or employ localized component-wise style representations, which is insufficient to model many Chinese font styles that involve hyper-component features such as inter-component spacing and "connected-stroke". To resolve these drawbacks and make the style representations more reliable, we propose a self-supervised cross-modality pre-training strategy and a cross-modality transformer-based encoder that is conditioned jointly on the glyph image and the corresponding stroke labels. The cross-modality encoder is pre-trained in a self-supervised manner to allow effective capture of cross- and intra-modality correlations, which facilitates the content-style disentanglement and modeling style representations of all scales (stroke-level, component-level and character-level). The pre-trained encoder is then applied to the downstream font generation task without fine-tuning. Experimental comparisons of our method with state-of-the-art methods demonstrate our method successfully transfers styles of all scales. In addition, it only requires one reference glyph and achieves the lowest rate of bad cases in the few-shot font generation task 28% lower than the second best

研究の動機と目的

• 既存の少数ショットフォント生成手法が部品単位またはユニバーサルなスタイル表現に依存するという制限に対処し、部品間の間隔や接続ストロークパターンといったマルチスケールのスタイル特徴を捉えられないことの問題を解決すること。
• 原子的単位の数を減らし、未観測部品への一般化を高めるために、部品レベルの監督をストロークレベルの監督に置き換えることで、スタイル表現の信頼性を向上させること。
• 自己教師付きの方法で訓練された統合的・クロスモダリティトランスフォーマーエンコーダーを用いて、ストローク、部品、文字の複数スケールにわたるコンテンツ-スタイル分離を実現すること。
• 下流のフォント生成タスクにおける微調整の必要性を排除し、事前学習済みエンコーダーを固定したまま、スタイル表現を直接後続タスクに転送すること。
• 単一の参照グリフのみを用いて、多様なソースフォントと未観測のターゲットスタイルにおいて、高精細かつ一貫性のあるフォント生成を達成すること。

提案手法

• グリフ画像と対応するストロークラベルの両方に条件付けられたクロスモダリティトランスフォーマー基盤のエンコーダーを用い、複数スケールにわたるクロスモダリティおよびイントラモダリティ相関を学習する。
• 人為的ラベルなしでマルチスケールのスタイル表現を捉えるために、マスク画像モデリングとマスクストロークラベル付けを用いた自己教師付きの方法でエンコーダーを事前学習する。
• 事前学習済みエンコーダーを固定し、下流のフォント生成タスクにおける固定特徴抽出器として使用することで、微調整の必要性を排除する。
• ECAモジュールを備えた分離ネットワークを用いてコンテンツとスタイルの表現を分離し、分離の質を高めるとともに、構造的詳細を保持する。
• トレーニング段階でストローク損失を導入し、構造的一致性を強化し、ストローク順序や形状への感受性を向上させる。
• 生成器は、忠実度とGPUメモリ制約のバランスを取るために、$8\times 8$の特徴マップを用いる。アブレーションスタディでは、より小さな表現をテストするためにダウンサンプリング層を用いた。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きクロスモダリティ事前学習戦略は、少数ショットフォント生成におけるマルチスケールスタイル表現の信頼性を向上させ得るか？
• RQ2 部品レベルの監督ではなくストロークレベルの監督を用いることで、中国文字における未観測部品やスタイルへの一般化が向上するか？
• RQ3 下流タスクでの微調整なしに、固定された事前学習済みエンコーダーが優れた少数ショットフォント生成性能を達成できるか？
• RQ4 提案されたストローク損失は、構造的詳細の保持およびコンテンツとスタイルの分離の向上にどの程度効果的か？
• RQ5 特徴マップサイズや分離ネットワークといったアーキテクチャ的選択が、生成品質および構造的一致性に与える影響は何か？

主な発見

• XMP-Font は、未観測フォントドメインにおける少数ショットフォント生成で記録的な87.5%の成功率を達成し、先行手法を著しく上回った。
• 2番目に優れた手法と比較して、悪影響率が28%低く抑えられ、信頼性と一貫性に優れていることが示された。
• アブレーションスタディにより、ストローク損失を削除すると構造的保持が悪化し、客観的指標も低下することが確認された。未観測シナリオではFIDが31.14から70.56に上昇した。
• $8\times 8$ではなく$4\times 4$の特徴マップを用いることで、微細な構造とスタイル特徴が損なわれ、L1損失とストローク損失が上昇し、PSNRとSSIMが低下した。
• ECAベースの分離ネットワークを削除するとコンテンツ-スタイル分離が劣化し、構造的アーチファクトや誤ったスタイル転送が生じ、定量的評価と定性的な結果の両方で劣化が確認された。
• 事前学習戦略は不可欠である：エンコーダーをランダムに初期化してから学習を開始（事前学習なし）すると収束せず、下流タスクでのエンコーダー微調整も、固定された事前学習済みバージョンに劣った性能を示した。