[論文レビュー] AnimeDiffusion: Anime Face Line Drawing Colorization via Diffusion Models

Yu Cao, Xiangqiao Meng+4 more|arXiv (Cornell University)|Mar 20, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、アニメ顔のラインアートの色分けに特化した最初の拡散モデルであるAnimeDiffusionを提案する。分類器フリーのガイドランスによる事前学習と画像再構成の微調整を組み合わせることで、新しい高解像度アニメデータセット上で最先端の性能を達成し、手作業での色分け作業を顕著に削減するとともに、既存のGANベースの手法を上回る。

ABSTRACT

It is a time-consuming and tedious work for manually colorizing anime line drawing images, which is an essential stage in cartoon animation creation pipeline. Reference-based line drawing colorization is a challenging task that relies on the precise cross-domain long-range dependency modelling between the line drawing and reference image. Existing learning methods still utilize generative adversarial networks (GANs) as one key module of their model architecture. In this paper, we propose a novel method called AnimeDiffusion using diffusion models that performs anime face line drawing colorization automatically. To the best of our knowledge, this is the first diffusion model tailored for anime content creation. In order to solve the huge training consumption problem of diffusion models, we design a hybrid training strategy, first pre-training a diffusion model with classifier-free guidance and then fine-tuning it with image reconstruction guidance. We find that with a few iterations of fine-tuning, the model shows wonderful colorization performance, as illustrated in Fig. 1. For training AnimeDiffusion, we conduct an anime face line drawing colorization benchmark dataset, which contains 31696 training data and 579 testing data. We hope this dataset can fill the gap of no available high resolution anime face dataset for colorization method evaluation. Through multiple quantitative metrics evaluated on our dataset and a user study, we demonstrate AnimeDiffusion outperforms state-of-the-art GANs-based models for anime face line drawing colorization. We also collaborate with professional artists to test and apply our AnimeDiffusion for their creation work. We release our code on https://github.com/xq-meng/AnimeDiffusion.

研究の動機と目的

• アニメ制作プロセスにおけるラインアートの手作業による色分け作業の時間と手間を軽減すること。
• 既存のGANベースの手法がラインアートと参照画像間の長距離にわたるドメイン間依存関係をモデル化する点で抱える制限を克服すること。
• アニメコンテンツ制作に特化した拡散アーキテクチャとしての拡散モデルを開発すること。この分野は、これまで拡散アーキテクチャの適用が試みられてこなかった。
• 今後の研究を支援するための高解像度アニメ顔ラインアート色分けのベンチマークデータセットを整備すること。
• この特定の芸術的画像生成タスクにおいて、拡散モデルがGANを上回る実用性と優位性を示すこと。

提案手法

• ハイブリッドトレーニング戦略を採用：まず分類器フリーのガイドランスを用いて一般色分けの事前知識を学習する拡散モデルを事前学習する。
• 事前学習済みモデルを、画像再構成ガイドランスを用いて微調整することで、特定のアニメ顔色分けタスクに適応させる。
• モデルはラインアートと参照画像の両方を入力として受け取り、ドメイン間の長距離依存関係をモデル化した色分け出力を生成する。
• 高解像度アニメ顔の31,696件のトレーニングサンプルおよび579件のテストサンプルから構成される新規に収集されたデータセット上で、モデルをエンドツーエンドで訓練する。
• 分類器フリーのガイドランスにより、分離された識別器を必要とせず、条件付き生成が可能となり、トレーニングの安定性と出力品質が向上する。
• 性能の妥当性を検証するため、複数の定量的指標とユーザースタディを用いて評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 GANが主導していたタスクであるアニメ顔ラインアートの色分けに、拡散モデルが有効に適応可能であるか。
• RQ2 分類器フリーのガイドランスによる事前学習と再構成損失による微調整を組み合わせたハイブリッドトレーニング戦略は、標準的なGANベースのアプローチに比べて優れた結果をもたらすか。
• RQ3 新規の高解像度アニメ顔データセットは、色分けモデルの評価とベンチマーク化を向上させられるか。
• RQ4 提案された拡散モデルの性能は、定量的指標および人間評価において、最先端のGANベースのモデルと比較してどうか。
• RQ5 専門のアーティストによる検証を通じて、実際のアニメ制作ワークフローにおいてモデルが実用的であるか。

主な発見

• AnimeDiffusionは定量的指標およびユーザースタディの両方で、最先端のGANベースのモデルを上回り、優れた色分け品質を示した。
• 事前学習後、わずか数イテレーションの微調整で優れた性能を達成しており、タスクへの効率的適応が示された。
• 提案されたハイブリッドトレーニング戦略は、生成品質とトレーニング効率のバランスを効果的にとらえ、フルスケールの拡散トレーニングに比べて計算コストを削減した。
• 31,696件のトレーニングサンプルおよび579件のテストサンプルから構成される新規のベンチマークデータセットは、高解像度アニメ顔データの評価における重要な空白を埋めた。
• 専門のアーティストがモデルの実用的価値を確認し、アニメ制作プロセスへの実用的適用性を裏付けた。
• 結果から、拡散モデルはアニメ特化の色分けタスクにおいて、単に実現可能であるのではなく、むしろ優位であることが示された。これは、GANが支配的であったこの分野における優位性を覆すものである。