[論文レビュー] Disentangling Style and Content in Anime Illustrations

Sitao Xiang, Hao Li|arXiv (Cornell University)|May 26, 2019

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 10

ひとこと要約

本稿では、2段階のアプローチを用いて、アニメイラストのスタイルとコンテンツを分離する生成的対抗的分離ネットワークを提案する。まず、画像をスタイルに依存しないコンテンツ表現にエンコードし、次に二重条件付き生成器を用いてスタイルとコンテンツを独立して制御する。この手法は、1,000種類以上のアーティスト固有のスタイルにおいて、顔の特徴や芸術的意味論を忠実に保持しながら、高精細で多様なスタイル転送を達成し、最先端の結果を示した。

ABSTRACT

Existing methods for AI-generated artworks still struggle with generating high-quality stylized content, where high-level semantics are preserved, or separating fine-grained styles from various artists. We propose a novel Generative Adversarial Disentanglement Network which can disentangle two complementary factors of variations when only one of them is labelled in general, and fully decompose complex anime illustrations into style and content in particular. Training such model is challenging, since given a style, various content data may exist but not the other way round. Our approach is divided into two stages, one that encodes an input image into a style independent content, and one based on a dual-conditional generator. We demonstrate the ability to generate high-fidelity anime portraits with a fixed content and a large variety of styles from over a thousand artists, and vice versa, using a single end-to-end network and with applications in style transfer. We show this unique capability as well as superior output to the current state-of-the-art.

研究の動機と目的

• スタイル（例：スタイル）のみがラベル付けされた複雑なアニメイラストにおいて、スタイルとコンテンツを分離する課題に対処すること。
• 1つのエンドツーエンドネットワークから、固定されたコンテンツと可変なスタイルを持つアニメポートレートの高精細な生成を可能にすること。
• テクスチャ統計に依存するか、ドメイン別トレーニングを要する従来手法の限界を克服し、共有された分離表現を学習することで、その問題を解決すること。
• 手書き数字の分野に対しても一般化を示すために、筆者の個性と数字クラスの分離を実現すること。

提案手法

• 2段階のフレームワーク：まず、スタイルに依存しないコンテンツエンコーダーが、入力画像をスタイルに依存しないコンテンツコードにマップする。
• 次に、二重条件付き生成器が、コンテンツコードとスタイルラベルを入力として画像を生成し、コンテンツ忠実度を保つために明示的なコンテンツ再構成損失を用いる。
• 敵対的訓練を用い、補助分類器GANを用いて、リアルなスタイル生成と分離の両立を確保する。
• 共有コード空間を用いてエンドツーエンドで訓練することで、コンテンツとスタイルの独立した制御を可能にする。
• 多変量正規分布を用いてコンテンツコード空間をモデル化し、評価用に未学習のコンテンツコードの生成を可能にする。
• ラベル付きスタイルとラベルなしコンテンツのみを用いるため、弱教師あり設定に適している。

実験結果

リサーチクエスチョン

• RQ1 スタイルのみがラベル付けされた状況下で、1つの生成モデルがアニメイラストのスタイルとコンテンツを分離できるか？
• RQ2 コンテンツの意味論を保持しながら、多様なスタイルで高精細なポートレートを生成できるか、その程度はいかほどか？
• RQ3 暗黙の条件付けと比較して、明示的なコンテンツ条件付けが分離性能に与える影響は？
• RQ4 本手法は、筆者の個性や数字クラスの分離が可能な他のドメイン（例：手書き数字）にも一般化可能か？
• RQ5 敵対的評価において、生成器が敵対的分類器に against して最適化される場合、分離の頑健性はどの程度保たれるか？

主な発見

• モデルは、目、髪、ほっぺ、ハイライトなどスタイル固有の特徴を忠実に再現し、アニメポートレートにおいて優れた視覚的品質と詳細の保持を達成した。
• 敵対的分類器を用いて訓練した場合、生成画像のスタイル分類においてトップ1正答率が14.37%にとどまり、生成サンプルが敵対的分類器にとって本物と区別がつかないことを示した。
• 明示的なコンテンツ条件付けを削除した場合、顔の特徴を制御できなくなる部分的なモード崩壊が発生し、コンテンツ損失の必要性を示した。
• NIST手書き数字データセットにおいても、1つの要因（筆者の個性や数字クラス）のみがラベル付けされた状況で、筆者の個性と数字クラスの分離に成功した。
• ランダムなコンテンツコードを用いて106,814個のサンプルを生成し、すべてがトレーニングセットのクラス分布と一致した。これは、未学習のコンテンツへの一般化を検証した。
• 生成サンプルに対する敵対的分類器の低正答率（14.37%）は、本モデルが本物のデータと区別がつかないほどリアルで多様な出力を生成できることを裏付けた。