[論文レビュー] Attribute2Font: Creating Fonts You Want From Attributes

Yizhi Wang, Yue Gao+1 more|arXiv (Cornell University)|May 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 4

ひとこと要約

本稿では、ユーザーが指定したフォント属性（例：イタリック、セリフ、角ばり具合など）を条件として、フォント間の属性条件付きスタイル変換を実行することで、カスタムグリフ画像を生成する深層生成モデルであるAttribute2Fontを提案する。本研究では、生成品質の向上と限られたアノテート済みデータの処理を目的として、属性アテンションモジュールとセミ教師あり学習スキームを導入し、既存データベースに存在しない新しいフォントスタイルの合成を可能にする。

ABSTRACT

Font design is now still considered as an exclusive privilege of professional designers, whose creativity is not possessed by existing software systems. Nevertheless, we also notice that most commercial font products are in fact manually designed by following specific requirements on some attributes of glyphs, such as italic, serif, cursive, width, angularity, etc. Inspired by this fact, we propose a novel model, Attribute2Font, to automatically create fonts by synthesizing visually-pleasing glyph images according to user-specified attributes and their corresponding values. To the best of our knowledge, our model is the first one in the literature which is capable of generating glyph images in new font styles, instead of retrieving existing fonts, according to given values of specified font attributes. Specifically, Attribute2Font is trained to perform font style transfer between any two fonts conditioned on their attribute values. After training, our model can generate glyph images in accordance with an arbitrary set of font attribute values. Furthermore, a novel unit named Attribute Attention Module is designed to make those generated glyph images better embody the prominent font attributes. Considering that the annotations of font attribute values are extremely expensive to obtain, a semi-supervised learning scheme is also introduced to exploit a large number of unlabeled fonts. Experimental results demonstrate that our model achieves impressive performance on many tasks, such as creating glyph images in new font styles, editing existing fonts, interpolation among different fonts, etc.

研究の動機と目的

• 非プロフェッショナルがフォント検索に依存するのではなく、属性ベースの生成によってカスタムフォントを作成するための障壁を低減すること。
• 従来の画像生成モデルが属性を同等に扱い、グリフ内の形状変化を正しくモデル化できないという限界に対処すること。
• 離散的または二値の属性ではなく、連続的かつ任意の属性値をサポートする手法の開発。
• アノテート済みフォント属性データの不足に対処するため、セミ教師あり学習アプローチを採用すること。
• 中国語のような非ラテン文字のスクリプトに対しても、新しいフォントスタイルのグリフ画像の生成を可能にすること。

提案手法

• モデルは、フォントの属性値を条件として、フォント間の画像対画像スタイル変換を実行する深層生成ネットワークを用いる。
• 生成プロセス中に最も影響力のある属性を動的に強調するために、デコーダーに属性アテンションモジュールを統合する。
• アノテート済みデータが限られる状況でも、大量のラベルなしフォントを活用して学習を改善するためのセミ教師あり学習スキームを採用する。
• モデルは、ソースフォント画像と属性値を入力として受け取り、望ましいスタイルのターゲットフォント画像を出力するマッピングを学習する。
• 属性に配慮したアテンション機構を備えた、変更を加えたStarGANフレームワークに基づくアーキテクチャを採用する。
• 属性値を変更することで、既存フォントの編集やフォント間の補間が可能である。

実験結果

リサーチクエスチョン

• RQ1 連続的かつユーザー定義の属性値に基づいて、従来のフォントのリtrievalに依存せず、新しいフォントスタイルを生成できるか？
• RQ2 視覚的整合性を高めるために、属性ごとの重要度をどのようにモデル化できるか？
• RQ3 セミ教師あり学習戦略は、フォント生成における高価な属性アノテーションへの依存度をどの程度低減できるか？
• RQ4 提案手法は、中国語のような大規模な文字セットを持つ非ラテンスクリプトに対しても一般化可能か？
• RQ5 属性アテンションモジュールは、フォント生成時に重要なスタイル的特徴を保持する能力をどのように向上させるか？

主な発見

• Attribute2Fontモデルは、任意の属性値の組み合わせに基づき、未確認の新しいフォントスタイルの高品質なグリフ画像を効果的に生成できた。
• 属性アテンションモジュールは、モデルが重要な属性に焦点を当てる能力を著しく向上させ、より正確で視覚的に一貫性のあるフォントスタイルの生成を実現した。
• セミ教師あり学習スキームにより、アノテート済みデータが限られる状況でも効果的な学習が可能となり、リソースが限られた環境での性能向上が達成された。
• 中国語のような非ラテンスクリプトに対しても、モデルは良好に一般化され、大規模な文字セットへのスケーラビリティを示した。
• 広範な実験により、従来の手法と比較して、フォント作成、編集、補間の各分野で優れた性能を発揮した。
• 顔やフォント画像変換タスクにおいて、ベースラインのGAN（StarGANなど）と比較して、アイデンティティの一貫性と属性制御の両面で優れた性能を示した。