[論文レビュー] Coconditional Autoencoding Adversarial Networks for Chinese Font Feature Learning

Zhizhan Zheng, Feiyun Zhang|arXiv (Cornell University)|Dec 11, 2018

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 5

ひとこと要約

本稿では、対照的自己符号化敵対的ネットワーク（CocoAAN）を提案する。この新しいフレームワークは、ペairワイズ置換最適化で訓練される2つの符号化ネットワークを用いて、中国語の漢字画像をコンテンツ特徴量とスタイル特徴量に分離し、敵対的生成器によって現実的な中国文字を生成する。モデルは手動での部品分割に依存せずに、未学習のフォントや文字に対しても強力な一般化性能を示し、教師なしの方法で強固な分離とスタイル/コンテンツ転送能力を実現する。

ABSTRACT

In this work, we propose a novel framework named Coconditional Autoencoding Adversarial Networks (CocoAAN) for Chinese font learning, which jointly learns a generation network and two encoding networks of different feature domains using an adversarial process. The encoding networks map the glyph images into style and content features respectively via the pairwise substitution optimization strategy, and the generation network maps these two kinds of features to glyph samples. Together with a discriminative network conditioned on the extracted features, our framework succeeds in producing realistic-looking Chinese glyph images flexibly. Unlike previous models relying on the complex segmentation of Chinese components or strokes, our model can "parse" structures in an unsupervised way, through which the content feature representation of each character is captured. Experiments demonstrate our framework has a powerful generalization capacity to other unseen fonts and characters.

研究の動機と目的

• 手動による中国フォント設計の高コストと複雑さに対処するため、グリフ合成を自動化すること。
• 部品や筆画の手動分割に依存せずに、中国文字の分離されたコンテンツとスタイル表現を学習すること。
• 教師なしの特徴量学習により、未学習のフォントや文字への一般化を可能にすること。
• 従来のVAEやGANベースの手法と比較して、生成品質とスタイル転送の忠実度を向上させること。
• エンドツーエンドで学習可能なフレームワーク内で、異なるフォントや文字間でのスタイルとコンテンツの共通共有性をモデル化すること。

提案手法

• 2つの符号化ネットワーク（スタイル特徴量用とコンテンツ特徴量用）を採用し、ペアワイズ置換最適化戦略により訓練することで、分離を強制する。
• 生成ネットワークは、結合されたスタイル特徴量とコンテンツ特徴量からグリフ画像を合成し、敵対的訓練により現実的な出力を得る。
• 識別ネットワークは抽出されたスタイル特徴量とコンテンツ特徴量に条件付けられており、生成サンプルの現実性を強制する。
• モデルは、異なるフォントや文字間で共有されるスタイルとコンテンツ表現を活用する共通の条件付き自己符号化メカニズムを用いる。
• バッチ単位で特徴量を平均化し、未学習のフォントや文字の新しいスタイルおよびコンテンツ埋め込みを推定する。
• t-SNE可視化を用いて、共通の部首に基づくコンテンツ特徴量の意味的なクラスタリングを検証し、教師なしの構造的理解を示す。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、手動による部品分割に依存せずに、中国語グリフ画像を意味的なコンテンツとスタイル表現に自動的に分離できるか？
• RQ2 モデルは未学習のフォントや文字から現実的なグリフを生成する際に、どの程度一般化できるか？
• RQ3 学習されたスタイルとコンテンツ特徴量は、滑らかな補間と意味的なスタイル転送を可能にするか？
• RQ4 ペアワイズ置換最適化戦略は、コンテンツ特徴量とスタイル特徴量の間の分離を効果的に強制するか？
• RQ5 再構成品質と一般化性能の観点から、従来のVAEやGANベースの手法と比較して、モデルの性能はどの程度か？

主な発見

• 視覚的比較により、CocoAANが128×128解像度でさえも、真値に近い高精細な中国グリフを再構成できていることが示された。
• スタイル潜在空間における線形補間により、細字から太字フォントへの滑らかな遷移が得られ、モデルが意味的かつ連続的なスタイル表現を学習していることが確認された。
• コンテンツ符号化ネットワークは、同じ部首を持つ文字を潜在空間でまとめてクラスタリングする能力を示し、明示的な構造的教師信号なしに教師なしの構造的理解を達成している。
• 未学習のフォントへの一般化は良好である：テストデータから新しいスタイル特徴量が推定され、妥当なグリフが生成されたが、一部の細部（例：セリフ）はしばしば消失した。
• 未学習の文字、特にGB-2312に収録されたレアな形や伝統的形態に対しても一般化が可能で、大多数の文字が正確に生成されたが、一部では筆画の重なりや歪みが見られた。
• VAEおよびGANベースラインと比較して、CocoAANはよりシャープで現実的なサンプルを生成し、分離性と一般化性能が優れており、特にスタイル転送とコンテンツ一般化において顕著な優位性を示した。