[論文レビュー] Towards the Automatic Anime Characters Creation with Generative Adversarial Networks

Yanghua Jin, Jiakai Zhang+4 more|arXiv (Cornell University)|Aug 18, 2017

Human Motion and Animation参考文献 22被引用数 135

ひとこと要約

本論文は、クリーンなアニメ顔データセットで学習したDRAGANベースのGANを構築し、自動的に高品質なアニメキャラクターを生成するとともに、対話的なキャラクターデザインのための公開ウェブインターフェースを提供する。

ABSTRACT

Automatic generation of facial images has been well studied after the Generative Adversarial Network (GAN) came out. There exists some attempts applying the GAN model to the problem of generating facial images of anime characters, but none of the existing work gives a promising result. In this work, we explore the training of GAN models specialized on an anime facial image dataset. We address the issue from both the data and the model aspect, by collecting a more clean, well-suited dataset and leverage proper, empirical application of DRAGAN. With quantitative analysis and case studies we demonstrate that our efforts lead to a stable and high-quality model. Moreover, to assist people with anime character design, we build a website (http://make.girls.moe) with our pre-trained model available online, which makes the model easily accessible to general public.

研究の動機と目的

• クリーンで厳選されたデータセットを用いて高品質なアニメ顔生成モデルを作成する。
• DRAGANとSRResNet風のジェネレータを用いてアニメ風画像のGANトレーニングを安定化させる。
• 補助分類器を用いた条件付きの属性駆動画像生成を可能にする。
• アニメイラストに適用したFIDを用いて生成品質を定量的に評価する。
• アニメキャラクターデザインの民主化を図るため、アクセス可能なオンラインツールを提供する。

提案手法

• 品質を考慮してGetchuから境界ボックスを1.5倍拡張し、手動でフィルタリングしたクリーンなアニメ顔データセットを作成する。
• 事前学習済みのIllustration2Vecモデルを用いて、条件付けを guiding するために各画像について34の属性タグを推定する。
• SRResNet風のジェネレータと10ブロックのディスクリミネータを備えたDRAGANベースのGANを訓練する。
• 34次元属性ベクトルとディスクリミネータ内の補助分類器を用いた条件付き生成を組み込む。
• 勾配ペナルティと測定された損失を用いて訓練を安定化させ、条件付き画像合成を可能にする。
• Illustration2vecベースのFID指標と属性制御の定性的・精度分析を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 クリーンでドメイン特化型のアニメ顔データセットは、安定して高品質なアニメキャラクターのGAN生成を可能にするか。
• RQ2 推定属性を条件付けとして用いることで、制御可能でリアルなアニメキャラクター生成は実現できるか。
• RQ3 このドメインにおけるDRAGANベースのアプローチは、アニメ専用の評価指標下でベースラインGANとどのように比較されるか。
• RQ4 ユーザー指定属性からアニメ顔を生成するオンラインインターフェースの実用的な性能はどの程度か。

主な発見

モデル	平均FID	最大FID-最小FID
DCGAN Generator+DRAGAN	5974.96	85.63
Our Model	4607.56	122.96

• Getchu由来のクリーンなデータセットで訓練したDRAGANベースのモデルは、安定して高品質なアニメ顔を生成する。
• 34属性を用いた条件付き生成は、属性ごとに精度が異なる制御可能な出力をもたらす。
• Illustration2vec特徴で評価した場合、モデルはベースライン（5974.96）より低いFID（4607.56）を達成する。
• 色属性は帽子やメガネのような複雑な形状よりもより信頼性高く学習され、依然として課題となる。
• 公開ウェブサイト(make.girls.moe)は、より小さなSRResNetベースのジェネレータを用いてダウンロードを速くし、画像あたり6–7秒でクライアントサイド生成を可能にする。