[論文レビュー] Handwritten Chinese Font Generation with Collaborative Stroke Refinement

Chuan Wen, Jie Chang+5 more|arXiv (Cornell University)|Apr 30, 2019

Handwritten Text Recognition Techniques参考文献 24被引用数 5

ひとこと要約

本論文は、わずか750対のトレーニングサンプルのみを要する、手書き中国漢字フォント生成のための新規エンドツーエンドディープラーニングモデルを提案する。共同ストローク精錬、オンラインズームオーグメンテーション、および適応的プリ変形を導入することで、細いストロークの処理を効果的に行い、中国文字における構造的再利用を活用し、一般化性能を向上させる。事前学習済みネットワークや追加ラベルを一切不要とし、最先端の性能を達成している。

ABSTRACT

Automatic character generation is an appealing solution for new typeface design, especially for Chinese typefaces including over 3700 most commonly-used characters. This task has two main pain points: (i) handwritten characters are usually associated with thin strokes of few information and complex structure which are error prone during deformation; (ii) thousands of characters with various shapes are needed to synthesize based on a few manually designed characters. To solve those issues, we propose a novel convolutional-neural-network-based model with three main techniques: collaborative stroke refinement, using collaborative training strategy to recover the missing or broken strokes; online zoom-augmentation, taking the advantage of the content-reuse phenomenon to reduce the size of training set; and adaptive pre-deformation, standardizing and aligning the characters. The proposed model needs only 750 paired training samples; no pre-trained network, extra dataset resource or labels is needed. Experimental results show that the proposed method significantly outperforms the state-of-the-art methods under the practical restriction on handwritten font synthesis.

研究の動機と目的

• 最小限の手作業と限定的なトレーニングデータで高品質な手書き中国漢字フォントを生成する課題に対処すること。
• 変形処理中に生じる細く壊れやすいストロークの本質的な困難さを克服すること。
• 異なる文字位置やスケールにおける中国文字の部首におけるコンテンツ再利用パターンを活用することで、データ要件を低減すること。
• 事前学習済みネットワークや追加ラベルに依存しないことで、最小限のリソースで実用的な展開を可能とすること。
• 低ショットトレーニングという現実的な制約下で、既存手法と比較して優れた合成品質を達成すること。

提案手法

• 共同ストローク精錬は、二重ブランチトレーニング戦略を用いる：主要ブランチが出力を生成し、補助ブランチが多様なストロークウェイトを学習することで、細いまたは途切れたストロークの回復を支援する。
• オンラインズームオーグメンテーションは、トレーニング中に基本的要素を変換したバージョンを合成することで、部首のサイズや位置の変異を暗黙的にモデル化し、大規模なデータ収集の必要性を低減する。
• 適応的プリ変形は、スケールと空間的アライメントを学習することで、ソース文字とターゲット文字を標準化し、ネットワークの注力が幾何的歪みではなくスタイル転送に集中できるように簡素化する。
• 生成対抗ネットワーク（GAN）に基づく adversarial loss を用いてエンドツーエンドでトレーニングし、知覚的リアリズムと構造的忠実性を向上させる。
• アーキテクチャは、事前学習モデルや追加ラベルに依存せず、ペアドされた手書き文字画像のみを監視信号として用いる。
• ズームおよび文字成分のトランスレーションによるデータオーグメンテーションを通じて、暗黙的に構造的多様性を捉え、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 750対のペアドトレーニングサンプルのみを用いて、高精度な手書き中国漢字フォントをディープラーニングモデルが生成可能か？
• RQ2 画像間変換処理において、手書き文字の細く壊れやすいストロークが歪みを避けてどのように保持されるか？
• RQ3 中国漢字の部首におけるコンテンツ再利用パターンは、必要なトレーニングデータサイズをどの程度低減できるか？
• RQ4 事前学習済みネットワークや追加ラベルなしで、最先端の性能を達成できるか？
• RQ5 個々の要素（共同精錬、ズームオーグメンテーション、プリ変形）が、全体の合成品質にどの程度寄与しているか？

主な発見

• 提案手法は、2550サンプルでトレーニングされたHANでさえも上回るか、同等の性能を達成しており、750サンプルのみで実現している。
• ユーザースタディーの結果、合成文字の主観的評価が5段階中4.5点を記録しており、1550サンプルを超えると性能が安定化し、部首のバリエーションが十分にカバーされていることが示された。
• アブレーションスタディーでは、適応的プリ変形を除去するとストロークが欠落またはずれることが確認され、構造的一致性を保つ上で極めて重要な役割を果たしていることが示された。
• オンラインズームオーグメンテーションを欠如させると、文字が不整で識別不能になるため、空間的およびスケール的多様性をモデル化する上で有効であることが証明された。
• ストローク精錬を除去すると、特に草書体においてストロークが途切れるまたは分離するため、細いストロークの回復に不可欠であることが確認された。
• GANベースの損失関数の導入により、知覚的品質が著しく向上し、ぼやけを低減し、生成文字の構造的整合性が強化された。