[論文レビュー] VQ-Font: Few-Shot Font Generation with Structure-Aware Enhancement and Quantization

Mingshuai Yao, Yabo Zhang+3 more|arXiv (Cornell University)|Aug 27, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

VQ-Font は、事前学習済みコードブックを用いたトークン事前分布の最適化と、構造に配慮したスタイル再キャリブレーションによるコンponentレベルのスタイル強化を組み合わせた、少数ショットフォント生成のための VQGAN ベースのフレームワークを提案する。中国語文字の構造的デザイン原理を活用し、離散的トークン空間で合成出力を精錬することで、特に複雑な serif 体やアートフォントにおいて、アーチファクトを顕著に低減し、視覚的品質を向上させる。定量的・定性的に、先行手法を上回る性能を達成する。

ABSTRACT

Few-shot font generation is challenging, as it needs to capture the fine-grained stroke styles from a limited set of reference glyphs, and then transfer to other characters, which are expected to have similar styles. However, due to the diversity and complexity of Chinese font styles, the synthesized glyphs of existing methods usually exhibit visible artifacts, such as missing details and distorted strokes. In this paper, we propose a VQGAN-based framework (i.e., VQ-Font) to enhance glyph fidelity through token prior refinement and structure-aware enhancement. Specifically, we pre-train a VQGAN to encapsulate font token prior within a codebook. Subsequently, VQ-Font refines the synthesized glyphs with the codebook to eliminate the domain gap between synthesized and real-world strokes. Furthermore, our VQ-Font leverages the inherent design of Chinese characters, where structure components such as radicals and character components are combined in specific arrangements, to recalibrate fine-grained styles based on references. This process improves the matching and fusion of styles at the structure level. Both modules collaborate to enhance the fidelity of the generated fonts. Experiments on a collected font dataset show that our VQ-Font outperforms the competing methods both quantitatively and qualitatively, especially in generating challenging styles.

研究の動機と目的

• 少数ショットフォント生成における高忠実度のグリフ生成、特に参考グリフが限られた複雑な中国語文字スタイルの課題を解決すること。
• ドメインギャップやピクセルレベルのアテンションのみに起因する、欠落した細部や歪んだストロークといったアーチファクトを低減すること。
• 中国語文字の構造的デザイン原理を統合することで、孤立したピクセルパッチではなく、部首やコンポーネントを統合的実体として扱うことで、スタイル転送の忠実度を向上させること。
• 事前学習済み VQGAN コードブックから導出された学習済み離散的トークン空間内で、合成出力を精錬することで、出力を向上させること。
• コンテンツグリフとリファレンスグリフ間の構造レベルの対応関係を明示的にモデリングすることで、視覚的品質と構造的一致性を向上させること。

提案手法

• 事前学習済み VQGAN を用いて、実世界のストロークおよびスタイルの事前分布を要約するフォントコードブックを学習し、合成グリフを離散的コードブック空間にマッピングすることで精錬を可能にする。
• Transformer ベースのモジュールが、合成フォント画像のコードブックインデックスを予測し、学習済みトークン事前分布を活用することで、高忠実度の出力を再構成可能にする。
• 構造レベルのスタイル強化モジュール (SSEM) は、コンテンツグリフとリファレンスグリフにおける構造的コンポーネント（例：部首）の対応関係を確立し、細粒度のスタイル特徴を再キャリブレートする。
• クロスアテンション機構が、コンテンツとリファレンスグリフ間のピクセルレベルアテンションを計算し、その後 SSEM によって再重み付けされ、構造的整合性を強調する。
• コンテンツエンコーダ、スタイルエンコーダ、クロスアテンションモジュール、SSEM、デコーダを統合したフレームワークを構築し、エンドツーエンド学習によりスタイル転送と再構成を最適化する。
• 合成と現実世界のフォント分布のギャップを埋めるために、事前学習済みフォントデコーダーをファインチューニングし、リアルリズムと一貫性を向上させる。

Figure 1: Left: The illustration of missing details and distorted strokes, and Right: the refinement process through token prior encapsulated in our codebook.

実験結果

リサーチクエスチョン

• RQ1 フォントトークンの事前学習済みコードブックは、欠落した細部や歪んだストロークといったアーチファクトを効果的に低減できるか？
• RQ2 中国語文字の構造的デザイン原理を統合することで、コンポーネントレベルでのスタイル転送忠実度はどの程度向上するか？
• RQ3 ピクセルレベルアテンションのみに比べ、構造に配慮した強化は、ストロークの一貫性とエッジディテールの保持においてどの程度優れているか？
• RQ4 トークン事前分布の精錬と構造レベルのスタイル再キャリブレーションを組み合わせることで、PSNR、SSIM、LPIPS といった定量的指標に顕著な改善が得られるか？
• RQ5 モデルは、serif 体やアートフォントといった複雑なフォントスタイルに対しても一般化可能であり、高忠実度を維持できるか？

主な発見

• VQ-Font モデルは UFUC データセットで PSNR 20.249、SSIM 0.812 を達成し、ベースラインおよびアブレーションバージョンを上回る性能を示した。
• 事前学習済みコードブックの追加 (+C) により、ベースラインと比較して PSNR が 0.851 向上し、LPIPS が 0.012 減少した。
• コードブックと構造レベルのスタイル強化モジュールを組み合わせた (+CS) ことで、PSNR は 20.249 に、LPIPS は 0.103 に向上し、相乗効果が顕著に確認された。
• 人間評価では、VQ-Font はコンテンツの正確性とスタイルの一貫性に優れており、ユーザーは参照フォントに最も近いと判断した結果をより多く選択した。
• 可視化結果から、SSEM が不要な領域のアテンションを低減し、対応する構造的コンポーネントに注目を集中させることで、スタイルの整合性が向上していることが確認された。
• 事前学習済みデコーダーのファインチューニングにより、ドメイン適応が向上し、PSNR が固定時（20.069）からファインチューニング時（20.249）に向上した。これは、合成と現実世界の分布ギャップを埋める有効性を裏付けた。

Figure 2: Structure component divisions in Chinese characters. Different colors represent different components.