[論文レビュー] GANwriting: Content-Conditioned Generation of Styled Handwritten Word Images

Lei Kang, Pau Riba+4 more|arXiv (Cornell University)|Mar 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 7

ひとこと要約

本稿では、テキスト内容と筆跡スタイル特徴を同時に条件付けすることで、現実的で多様な手書き単語画像を生成する条件付き GAN、GANwriting を提案する。敵対的学習、スタイル分類、およびシーケンス・ツー・シーケンス認識器を統合することで、人間が識別できない品質のサンプルを生成し、ゼロショットおよびフェイントショットのスタイル転送能力を備えた、コンテンツ条件付き手書き画像生成分野で最先端の性能を達成する。

ABSTRACT

Although current image generation methods have reached impressive quality levels, they are still unable to produce plausible yet diverse images of handwritten words. On the contrary, when writing by hand, a great variability is observed across different writers, and even when analyzing words scribbled by the same individual, involuntary variations are conspicuous. In this work, we take a step closer to producing realistic and varied artificially rendered handwritten words. We propose a novel method that is able to produce credible handwritten word images by conditioning the generative process with both calligraphic style features and textual content. Our generator is guided by three complementary learning objectives: to produce realistic images, to imitate a certain handwriting style and to convey a specific textual content. Our model is unconstrained to any predefined vocabulary, being able to render whatever input word. Given a sample writer, it is also able to mimic its calligraphic features in a few-shot setup. We significantly advance over prior art and demonstrate with qualitative, quantitative and human-based evaluations the realistic aspect of our synthetically produced images.

研究の動機と目的

• 既存の GAN ベース手法における現実的で多様な合成手書き単語画像の不足を解消すること。
• 事前に定義された語彙に依存せずに、コンテンツ条件付きの手書き単語生成を可能にすること。
• 特定の筆者の筆跡特徴を模倣することで、少数の例示画像からのフェイントショットスタイル転送を可能にすること。
• 従来の非再帰的手書き生成アプローチにおけるモード崩壊や視覚的品質の低さを克服すること。
• 複数目的学習により、本物の手書きサンプルと区別できない画像を生成すること。

提案手法

• 生成器は、文字列としてのテキスト内容と、傾き、丸み、線幅などの筆跡的属性を表す潜在的スタイルコードの両方を条件付けとして用いる。
• 本モデルは、3 つの補完的学習目的を採用する：現実性を保証する敵対的損失、スタイル転送を促進する著者分類損失、および事前学習済みのシーケンス・ツー・シーケンス認識器を介したテキスト忠実度の維持のための認識損失。
• 識別器は、生成画像が本物の手書きサンプルと視覚的に区別できないように保証する。
• スタイル分類器は、生成画像を正しい著者アイデンティティにマッピングすることで、サンプル間のスタイルの一貫性を強制する。
• 認識ヘッドは、生成画像が入力テキストを正しく伝えるかどうかを検証し、コンテンツの破損を防ぐ。
• トレーニングパイプラインは、マルチタスク損失関数を用いて、すべての 3 つの目的を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 非再帰的 GAN は、人間評価において本物のサンプルと区別できない現実的な手書き単語画像を生成できるか？
• RQ2 事前に定義された語彙に依存せず、任意のテキスト内容に条件づけられた多様で高品質な手書き画像を生成できるか？
• RQ3 少数の例示画像（フェイントショット）からのみ、モデルは新しい筆跡スタイルを効果的に転送・一般化できるか？
• RQ4 敵対的損失、スタイル損失、認識損失といった個々の学習目的が、生成サンプルの全体的な品質と多様性にどのように寄与しているか？
• RQ5 モデルは、モード崩壊を克服し、コンテンツとスタイルの忠実度を保ちながら、多様な出力を生成できるか、どの程度まで可能か？

主な発見

• 3 つの学習目的をすべて使用した場合、Fréchet Inception Distance (FID) は 130.68 に達し、アブレーション変種と比較して顕著に優れている。
• 人間評価では、生成画像のうちわずか 49.3% が偽物と正しく識別されたことから、人間と区別できない現実性に近い品質であり、偽陽性率は 55.4% であった。
• アブレーションスタディにより、敵対的損失、スタイル損失、認識損失の 3 つの目的を併用することが、コンテンツの正確性とスタイルの一貫性を両立させるために不可欠であることが確認された。
• 認識損失が欠落していると、モデルは入力にかかわらず繰り返し同じ単語（例：'the'）を生成するモード崩壊を示した。
• スタイル分類器損失は、フェイントショットの状況下でも、特定の筆跡的特徴を効果的に転送するために不可欠であった。
• モデルは、トレーニング語彙外（OOV）の単語を、高い視覚的・文語的忠実度で正しく生成でき、学習語彙を超えた一般化能力を示した。