[论文解读] AnimeDiffusion: Anime Face Line Drawing Colorization via Diffusion Models

Yu Cao, Xiangqiao Meng+4 more|arXiv (Cornell University)|Mar 20, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出 AnimeDiffusion，首个专为动漫人脸线稿着色设计的扩散模型。通过结合无分类器指导的预训练与图像重建微调，该模型在新构建的高分辨率动漫数据集上实现了最先进性能，显著减少了人工着色工作量，且优于现有基于 GAN 的方法。

ABSTRACT

It is a time-consuming and tedious work for manually colorizing anime line drawing images, which is an essential stage in cartoon animation creation pipeline. Reference-based line drawing colorization is a challenging task that relies on the precise cross-domain long-range dependency modelling between the line drawing and reference image. Existing learning methods still utilize generative adversarial networks (GANs) as one key module of their model architecture. In this paper, we propose a novel method called AnimeDiffusion using diffusion models that performs anime face line drawing colorization automatically. To the best of our knowledge, this is the first diffusion model tailored for anime content creation. In order to solve the huge training consumption problem of diffusion models, we design a hybrid training strategy, first pre-training a diffusion model with classifier-free guidance and then fine-tuning it with image reconstruction guidance. We find that with a few iterations of fine-tuning, the model shows wonderful colorization performance, as illustrated in Fig. 1. For training AnimeDiffusion, we conduct an anime face line drawing colorization benchmark dataset, which contains 31696 training data and 579 testing data. We hope this dataset can fill the gap of no available high resolution anime face dataset for colorization method evaluation. Through multiple quantitative metrics evaluated on our dataset and a user study, we demonstrate AnimeDiffusion outperforms state-of-the-art GANs-based models for anime face line drawing colorization. We also collaborate with professional artists to test and apply our AnimeDiffusion for their creation work. We release our code on https://github.com/xq-meng/AnimeDiffusion.

研究动机与目标

• 为解决动画制作流程中手动着色动漫线稿耗时且费力的问题。
• 克服现有基于 GAN 的方法在建模线稿与参考图像之间长距离跨域依赖关系方面的局限。
• 开发一种专为动漫内容创作设计的扩散模型，填补扩散架构在该领域此前的空白。
• 建立一个高分辨率动漫人脸线稿着色的基准数据集，以支持未来研究。
• 证明扩散模型在该特定艺术图像生成任务中相较于 GAN 的可行性与优越性。

提出的方法

• 采用混合训练策略：首先使用无分类器指导对扩散模型进行预训练，以学习通用的着色先验。
• 随后利用图像重建指导对预训练模型进行微调，以适应特定的动漫人脸着色任务。
• 模型同时以线稿和参考图像作为输入，生成着色结果，从而建模跨域的长距离依赖关系。
• 该架构在新收集的 31,696 个训练样本与 579 个测试样本的高分辨率动漫人脸数据集上端到端训练。
• 无分类器指导实现了无需独立判别器的条件生成，提升了训练稳定性与生成样本质量。
• 通过多种定量指标与用户研究对方法进行评估，以验证性能与感知质量。

实验结果

研究问题

• RQ1 扩散模型能否被有效适配于动漫人脸线稿着色任务，这一任务此前由 GAN 主导？
• RQ2 结合无分类器指导预训练与重建损失微调的混合训练策略，是否优于标准的 GAN 基方法？
• RQ3 新构建的高分辨率动漫人脸数据集能否提升着色模型的评估与基准测试水平？
• RQ4 所提出的扩散模型在定量指标与人工评估中的表现，相较于最先进 GAN 基模型如何？
• RQ5 该模型能否在真实动画工作流程中被专业画师实际应用，从而验证其实用性？

主要发现

• AnimeDiffusion 在定量指标与用户研究中均优于最先进 GAN 基模型，展现出更优的着色质量。
• 模型仅需在预训练后进行少量微调迭代即可达到优异性能，表明其对目标任务具有高效的适应能力。
• 所提出的混合训练策略有效平衡了生成质量与训练效率，相比全规模扩散训练显著降低了计算成本。
• 新构建的 31,696 个训练样本与 579 个测试样本的基准数据集，填补了高分辨率动漫人脸数据在评估方面的关键空白。
• 专业画师确认了该模型的实际应用价值，验证了其在动画创作流程中的现实适用性。
• 结果表明，扩散模型不仅适用于动漫特定着色任务，且表现更优，挑战了 GAN 在该领域的主导地位。