[論文レビュー] Chinese Typography Transfer

Jie Chang, Yujun Gu|arXiv (Cornell University)|Jul 16, 2017

Simulation and Modeling Applications参考文献 12被引用数 19

ひとこと要約

本論文は、各漢字を全体像として扱うことで、セグメンテーションや事前/事後の処理を不要とする、深層学習に基づく中国文のタイプセット転送のエンドツーエンドフレームワークを提案する。構造的保持のための完全畳み込みネットワーク（FCN）と、現実的なスティック生成のための敵対的ネットワークを組み合わせることで、印刷体および手書き体の両方のスタイルを高い視覚的忠実度で効果的に転送する。

ABSTRACT

In this paper, we propose a new network architecture for Chinese typography transformation based on deep learning. The architecture consists of two sub-networks: (1)a fully convolutional network(FCN) aiming at transferring specified typography style to another in condition of preserving structure information; (2)an adversarial network aiming at generating more realistic strokes in some details. Unlike models proposed before 2012 relying on the complex segmentation of Chinese components or strokes, our model treats every Chinese character as an inseparable image, so pre-processing or post-preprocessing are abandoned. Besides, our model adopts end-to-end training without pre-trained used in other deep models. The experiments demonstrates that our model can synthesize realistic-looking target typography from any source typography both on printed style and handwriting style.

研究の動機と目的

• コンponent やスティックのセグメンテーションに依存しない統一的な深層学習フレームワークを構築すること。
• タイプセット転送における複雑な事前処理や事後処理の手順を排除すること。
• 事前学習モデルを用いないエンドツーエンド学習を可能とし、学習効率と適応性を向上させること。
• 印刷体および手書き体の両方のスタイルにおいて、細部にまでこだわったスティックの詳細を再現する現実的なタイプセットを生成すること。

提案手法

• モデルは完全畳み込みネットワーク（FCN）を用いて、元の文字の構造的レイアウトを保持しつつタイプセットスタイルを転送する。
• 局所的なスティックの現実性を向上させ、細部の視覚的品質を改善するために敵対的ネットワークを統合する。
• 全アーキテクチャを事前学習重みを使用せずにエンドツーエンドで学習する。
• 各中国語文字を個別の画像として扱い、コンponent やスティックのセグメンテーションを回避する。
• 敵対的損失を適用して生成されたスティックを精緻化し、ターゲットスタイルとより自然で視覚的に一貫性のあるものにする。
• 統一されたアーキテクチャにより、印刷体および手書き体の両方のスタイル転送をサポートする。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、文字やスティックのセグメンテーションを必要とせずに中国文タイプセットスタイルを転送できるか？
• RQ2 エンドツーエンドで学習されたモデルは、現実的なスティックを生成しつつ、構造的整合性をどの程度効果的に保持できるか？
• RQ3 本モデルは、印刷体および手書き体を含む多様なタイプセットスタイルにどの程度一般化できるか？
• RQ4 敵対的学習は、ベースライン手法と比較して生成スティックの現実性を顕著に向上させられるか？

主な発見

• モデルは、事前処理や事後処理を一切行わず、ソースからターゲットへのタイプセットスタイル転送に成功した。
• 事前学習モデルを用いないエンドツーエンド学習が、競争力のある性能を達成しており、モデルの自己完結性を示している。
• 敵対的コンponent は、生成された文字のスティック詳細の現実性を顕著に向上させた。
• モデルは印刷体および手書き体の両方のスタイルにうまく一般化し、視覚的に妥当な結果を生成した。
• 複雑なスティックパターンでさえも、タイプセット転送中に元の文字の構造的一致性を維持した。
• セグメンテーションや複雑な前処理パイプラインを必要としていた先行手法に比べ、本手法が優れた性能を示した。