[論文レビュー] Learning to Write Stylized Chinese Characters by Reading a Handful of Examples

Danyang Sun, Tongzheng Ren+3 more|arXiv (Cornell University)|Dec 6, 2017

Handwritten Text Recognition Techniques参考文献 34被引用数 11

ひとこと要約

本稿では、相互作用的ペアワイズ最適化を用いてコンテンツとスタイルの特徴を分離するスタイル認識変分オートエンコーダー（SA-VAE）を提案する。これにより、1つまたは数個の例からのスタイルを推論することで、1ショットまたは少数ショットのスタイル化された漢字の生成が可能になる。本手法は、構造的な正確性を維持しながら純粋なスタイル情報を保持する分離された潜在表現を学習することで、最先端の少数ショット一般化性能を達成する。

ABSTRACT

Automatically writing stylized Chinese characters is an attractive yet challenging task due to its wide applicabilities. In this paper, we propose a novel framework named Style-Aware Variational Auto-Encoder (SA-VAE) to flexibly generate Chinese characters. Specifically, we propose to capture the different characteristics of a Chinese character by disentangling the latent features into content-related and style-related components. Considering of the complex shapes and structures, we incorporate the structure information as prior knowledge into our framework to guide the generation. Our framework shows a powerful one-shot/low-shot generalization ability by inferring the style component given a character with unseen style. To the best of our knowledge, this is the first attempt to learn to write new-style Chinese characters by observing only one or a few examples. Extensive experiments demonstrate its effectiveness in generating different stylized Chinese characters by fusing the feature vectors corresponding to different contents and styles, which is of significant importance in real-world applications.

研究の動機と目的

• 1つまたは数個の例文字のみを用いて、自動的にスタイル化された中国語文字を生成すること。
• 既存のモデルが新しいスタイルに対応するためには再訓練が必要であるという制限を克服すること。
• 中国語文字のコンテンツとスタイルの特徴を分離することで、少数ショット一般化を向上させること。
• 草書体や印刷体を含む多様な書体に対応するフレームワークの構築。
• 中国語文字の構造的知識（例：部首や構成要素）を生成プロセスに統合し、忠実度を向上させること。

提案手法

• コンテンツとスタイルの表現を別々の推論ネットワークを用いて同時に学習するスタイル認識変分オートエンコーダー（SA-VAE）を提案する。
• コンテンツ情報がスタイル埋め込みに含まれるのを最小限に抑えるために、新しい相互作用的ペアワイズ最適化手法を採用する。
• 線形行列分解に代えて、非線形な関係をモデル化するための深層ニューラルネットワークを用いる。
• 中国語文字の分野固有の構造的知識（例：部首や筆順）をコンテンツ符号化プロセスに統合する。
• 多様な書体から学習されたスタイルバンクを活用し、推論時に未観測のスタイルに対しても一般化可能である。
• 構造的事前分布を用いた変分推論を適用することで、頑健な事後分布推定と分離された潜在空間を確保する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、1つまたは数個の例文字からのみ新しい書体を推論できるか？
• RQ2 中国語文字生成において、コンテンツとスタイルの特徴をどのように効果的に分離できるか？これにより1ショット一般化が可能になるか？
• RQ3 VAEベースのフレームワークは、スタイル分離と推論品質の面で、GANベースの手法を上回ることができるか？
• RQ4 中国語文字の構造的知識を統合することで、生成忠実度と収束性がどの程度向上するか？
• RQ5 提案された相互作用的ペアワイズ最適化手法は、標準的なVAE最適化と比較して、スタイル埋め込みの純度を顕著に向上させるか？

主な発見

• 提案された相互作用的ペアワイズ最適化手法は、スタイル分類精度が47.42%に達し、ヴァニラVAE（43.44%）を顕著に上回り、スタイル埋め込み内のコンテンツ漏れを低減した。
• スタイル埋め込み内のコンテンツ情報は、コンテンツ分類精度がたったの1.28%にまで低下し、優れた分離品質を示した。
• SA-VAEフレームワークは、1つまたは数個の例のみを用いて、印刷体および手書き体の両方のスタイルで高忠実度のスタイル化された中国語文字を生成できる。
• 部首や構成要素といった文字構造の知識の統合により、特に複雑な文字において、学習の収束性と生成品質が向上した。
• 再訓練なしで未観測のスタイルに対しても効果的に一般化でき、優れた少数ショット一般化能力を示した。
• 本フレームワークは、他の記号アレフベット（数字、英字、日本語漢字）に対しても適用可能であり、中国語文字にとどまらない広範な応用可能性を示した。