[論文レビュー] DG-Font: Deformable Generative Networks for Unsupervised Font Generation

Yangchen Xie, Xinyuan Chen+2 more|arXiv (Cornell University)|Apr 7, 2021

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 9

ひとこと要約

本稿では、ペaired学習データが不要な高品質な文字の合成を実現する、新しい非教師付きフォント生成モデルDG-Fontを提案する。特徴変形スキップ接続（FDSC）を導入し、可変畳み込みに適した変位マップを予測することで、幾何的スタイルを効果的に転送しながら構造的整合性を維持する。このアプローチにより、中国語フォント生成分野で最先端の性能を達成し、知覚的品質と構造的忠実度が向上した。

ABSTRACT

Font generation is a challenging problem especially for some writing systems that consist of a large number of characters and has attracted a lot of attention in recent years. However, existing methods for font generation are often in supervised learning. They require a large number of paired data, which is labor-intensive and expensive to collect. Besides, common image-to-image translation models often define style as the set of textures and colors, which cannot be directly applied to font generation. To address these problems, we propose novel deformable generative networks for unsupervised font generation (DGFont). We introduce a feature deformation skip connection (FDSC) which predicts pairs of displacement maps and employs the predicted maps to apply deformable convolution to the low-level feature maps from the content encoder. The outputs of FDSC are fed into a mixer to generate the final results. Taking advantage of FDSC, the mixer outputs a high-quality character with a complete structure. To further improve the quality of generated images, we use three deformable convolution layers in the content encoder to learn style-invariant feature representations. Experiments demonstrate that our model generates characters in higher quality than state-of-art methods. The source code is available at https://github.com/ecnuycxie/DG-Font.

研究の動機と目的

• 漢字のような表意的文字のスクリプトにおいて、大規模な文字セットを有するため、ペアデータの収集が高コストとなる非教師付きフォント生成の課題に対処すること。
• 従来の画像対画像変換モデルがスタイルをテクスチャや色として定義しているが、これはフォントにおける幾何的スタイルを十分に捉えるには不十分であるため、その限界を克服すること。
• コンテンツとスタイルの表現を分離することで、ストロークの先端や太さの変化といった構造的詳細を保持しながら、高精細なフォント生成を可能にすること。
• ペア例やストローク・ルビッドなどのアノテーションラベルを必要とせず、未学習のフォントに一般化可能な手法を開発すること。

提案手法

• コンテンツエンコーダーからの低レベル特徴に可変畳み込みを適用するための、変位マップのペアを予測する特徴変形スキップ接続（FDSC）モジュールを提案する。
• コンテンツエンコーダーに可変畳み込み層を導入し、幾何的変化に対してロバストなスタイル不変特徴表現を学習することで、性能を向上させる。
• 判別的スタイル表現を保証するとともに、独立したスタイル識別を可能にするため、マルチタスクディスクリミネーターを採用する。
• FDSCモジュールにオフセット正規化損失を導入し、学習されたオフセットを制約することで、ソースとターゲットの文字構造間の整合性を向上させる。
• 構造的および意味的詳細を保持するため、2つの再構成損失（L1と知覚的損失）とマルチスケール知覚的損失を適用する。
• コンテンツ特徴とスタイル特徴を統合するミキサーネットワークを用い、完全で現実的な文字構造を持つ最終出力画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 ペア学習データに依存しない生成モデルは、高品質な非教師付きフォント生成を達成できるか？
• RQ2 非教師付き設定において、ソースフォントとターゲットフォント間の幾何的変形を効果的にモデル化・転送できるか？
• RQ3 可変畳み込みと変位マップを用いることで、標準的なスキップ接続と比較して、フォント生成における構造的忠実度が向上するか？
• RQ4 スタイル不変特徴とオフセット制約を用いることで、未学習のフォントスタイルにおいて、より優れた一般化性能と視覚的品質が得られるか？

主な発見

• FDSCモジュールは構造的保存性を顕著に向上させ、完全で整合性のある形状を持つ文字を生成することが、ベースラインモデルとの定性的比較で示された。
• コンテンツエンコーダーに可変畳み込み層を組み込むことで、L1損失、RMSE、SSIMの測定値に顕著な改善が見られ、特徴表現と再構成性能の向上が裏付けられた。
• FDSCモジュールにおけるオフセット正規化により、スタイル転送品質が向上し、生成された文字が外観および構造的側面でターゲットフォントに類似するようになった。
• FDSCを標準的なスキップ接続に置き換えると性能が劣化し、FDSCによる可変特徴転送が幾何的スタイルモデリングに不可欠であることが確認された。
• 可視化結果から、学習されたオフセットが主にストローク領域に影響を与え、ソースからターゲットストロークへのサンプリング位置を効果的に誘導していることが確認され、モデルが意味的な空間変形を学習できていることが裏付けられた。
• 2つのFDSCモジュールを備えた完全なモデルが、定量的および定性的な両面で最高の結果を達成し、ストロークの先端、太さの変化、つながりのある筆圧の表現といった詳細豊かな特徴を有する文字を生成した。