[論文レビュー] Auto-Encoder Guided GAN for Chinese Calligraphy Synthesis

Pengyuan Lyu, Xiang Bai+4 more|arXiv (Cornell University)|Jun 27, 2017

Handwritten Text Recognition Techniques被引用数 12

ひとこと要約

本稿では、標準フォント（Hei）の画像をストローク抽出を経ずにスタイライズド書道に直接変換する、自己符号化器でガイドされたGANを提案する。スタイル変換用のエンコーダ・デコーダネットワークと、低レベルのストローク特徴をガイドする教師あり自己符号化器を組み合わせることで、4つのスタイルにわたる28,000枚の書道画像から構築された新規ベンチマークにおいて、最先端のリアルさと詳細の忠実度を達成した。

ABSTRACT

In this paper, we investigate the Chinese calligraphy synthesis problem: synthesizing Chinese calligraphy images with specified style from standard font(eg. Hei font) images (Fig. 1(a)). Recent works mostly follow the stroke extraction and assemble pipeline which is complex in the process and limited by the effect of stroke extraction. We treat the calligraphy synthesis problem as an image-to-image translation problem and propose a deep neural network based model which can generate calligraphy images from standard font images directly. Besides, we also construct a large scale benchmark that contains various styles for Chinese calligraphy synthesis. We evaluate our method as well as some baseline methods on the proposed dataset, and the experimental results demonstrate the effectiveness of our proposed model.

研究の動機と目的

• 複雑な文字や草書体において不完全なストローク抽出に依存する従来のストロークベースの書道合成手法の限界を解消すること。
• 中国書道の合成を、画像間変換問題として扱い、標準フォントからスタイライズド書道への直接生成を可能にすること。
• 大域的な文字配置を保持しながら、微細なストロークスタイルと変形を学習できる深層生成モデルを開発すること。
• 信頼できる評価を可能にするために、大規模かつ多様な中国書道合成用ベンチマークデータセットを構築すること。

提案手法

• モデルは二重サブネットアーキテクチャを採用：画像間変換用のトランスファーネットワークと、特徴ガイド用のスーパーヴィジョンネットワーク（自己符号化器）。
• スーパーヴィジョンネットワークは、実際の書道画像で事前学習され、トレーニング中にトランスファーネットワークのデコーダー内の低レベル特徴を監視するために使用される。
• トランスファーネットワークは、L1再構成損失と adversarial 損失の両方を用いてトレーニングされ、コンテンツの保持と知覚的リアルさを確保する。
• 再構成と adversarial 目的の組み合わせにより、エンド・ツー・エンドでモデル全体をトレーニングし、写真のようにリアルな書道画像を生成する。
• 中間のストローク抽出や組み立てを経ずに、標準フォント画像（例：Hei）を直接ターゲットの書道スタイルにマッピングする。
• スーパーヴィジョンネットワークにより、低レベル特徴に対して詳細な監視が行われ、ストロークレベルの正確性とテクスチャのリアルさが向上する。

実験結果

リサーチクエスチョン

• RQ1 ストローク抽出や組み立てを経ずに、標準フォント画像から直接リアルな中国書道を生成できる深層生成モデルは存在するか？
• RQ2 自己符号化器でガイドされた監視機構は、画像間変換における微細なストローク詳細の学習をどの程度効果的に向上させるか？
• RQ3 L1損失のみと比較して、adversarial 訓練は生成された書道画像の知覚的品質とシャープネスをどの程度向上させるか？
• RQ4 入力フォントスタイル（例：Hei と Kai）がターゲットの書道スタイルと著しく異なる場合、提案手法はどの程度頑健か？
• RQ5 構造的・スタイル的変動が著しい多様な書道スタイルに、モデルはどの程度一般化できるか？

主な発見

• 提案手法は、Mi Fu、Zhao Zhiqian、Liu Gongquan、Shen Yinmo の4つの書道スタイルにおいて、すべてで最高の定性的な結果を達成し、UNet や Encoder-Decoder、Rewrite といったベースライン手法を上回った。
• スーパーヴィジョンネットワークを搭載したモデルは、監視なしバージョンと比較して、誤ったまたはぼやけたストロークが著しく減少した。
• adversarial 損失の導入により、ぼやけが軽減され、テクスチャのシャープネスが向上し、よりリアルで詳細な文字画像が得られた。
• Hei フォントではなく Kai フォントを入力として使用しても、モデルは高い性能を維持しており、入力フォントの変動に対して頑健であることが示された。
• ストロークのレイアウトや構造が標準フォントと著しく異なる、Mi Fu のような高度にスタイライズドで変形の激しい書道スタイルに対しても、モデルは良好に一般化した。
• アブレーションスタディの結果、スーパーヴィジョンネットワークと adversarial 損失の両方が、高精細でリアルな書道合成を達成するために不可欠であることが確認された。