[논문 리뷰] Towards the Automatic Anime Characters Creation with Generative Adversarial Networks

Yanghua Jin, Jiakai Zhang외 4명|arXiv (Cornell University)|2017. 08. 18.

Human Motion and Animation참고 문헌 22인용 수 135

한 줄 요약

본 논문은 깨끗한 anime-face 데이터셋으로 학습된 DRAGAN 기반 GAN을 구축하여 자동으로 고품질의 anime 캐릭터를 생성하고, 상호 작용 가능한 캐릭터 디자인을 위한 공개 웹 인터페이스를 배포한다.

ABSTRACT

Automatic generation of facial images has been well studied after the Generative Adversarial Network (GAN) came out. There exists some attempts applying the GAN model to the problem of generating facial images of anime characters, but none of the existing work gives a promising result. In this work, we explore the training of GAN models specialized on an anime facial image dataset. We address the issue from both the data and the model aspect, by collecting a more clean, well-suited dataset and leverage proper, empirical application of DRAGAN. With quantitative analysis and case studies we demonstrate that our efforts lead to a stable and high-quality model. Moreover, to assist people with anime character design, we build a website (http://make.girls.moe) with our pre-trained model available online, which makes the model easily accessible to general public.

연구 동기 및 목표

• 깨끗하고 선별된 데이터셋을 사용하여 고품질의 anime-face 생성 모델을 만든다.
• DRAGAN과 SRResNet 유사한 제너레이터를 사용하여 애니메 스타일 이미지의 GAN 학습을 안정화한다.
• 보조 분류기를 사용한 조건부, 속성 기반 이미지 생성을 가능하게 한다.
• 애니메 그림에 맞게 조정된 FID를 사용하여 생성 품질을 정량적으로 평가한다.
• 애니메 캐릭터 디자인의 민주화를 위한 접근 가능한 온라인 도구를 제공한다.

제안 방법

• Getchu에서 경계 상자를 1.5배 확장하고 품질을 수작업으로 필터링한 깨끗한 anime-face 데이터셋을 구성한다.
• 조건 지정을 안내하기 위해 사전 학습된 Illustration2Vec 모델을 사용하여 이미지당 34개의 속성 태그를 추정한다.
• 10-블록 디스크리미네이터를 가진 SRResNet 유사 제너레이터를 갖춘 DRAGAN 기반 GAN을 학습한다.
• 디스크리미네이터에 보조 분류기를 포함하고 34차원 속성 벡터로 조건부 생성을 도입한다.
• 그래디언트 패널티와 측정된 손실을 사용하여 학습을 안정화하고 조건부 이미지 합성을 가능하게 한다.
• Illustration2vec 기반의 FID 지표와 속성 제어의 정성적/정밀도 분석으로 평가한다.

실험 결과

연구 질문

• RQ1 깨끗하고 도메인에 특화된 anime-face 데이터셋이 애니메 캐릭터의 안정적이고 고품질 GAN 생성을 가능하게 할 수 있는가?
• RQ2 추정된 속성에 조건을 두는 것이 제어 가능한 현실적인 애니메 캐릭터 생성을 가능하게 하는가?
• RQ3 이 도메인에서 DRAGAN 기반 접근이 애니메 특화 평가 지표 하에서 기본 GAN과 어떻게 비교되는가?
• RQ4 사용자가 지정한 속성으로 애니메 얼굴을 생성하는 온라인 인터페이스의 실용적 성능은 어떠한가?

주요 결과

• 깨끗한 Getchu 유래 데이터셋으로 학습된 DRAGAN 기반 모델은 안정적이고 더 높은 품질의 애니메 얼굴을 생성한다.
• 34개의 속성으로 조건부 생성은 속성별로 다르게 정밀도가 변하는 제어 가능한 출력을 생성한다.
• Illustration2vec 특징으로 평가할 때 모델은 baseline(5974.96)보다 낮은 FID(4607.56)를 달성한다.
• 컬러 속성은 모자나 안경과 같은 복잡한 형태보다 더 안정적으로 학습되며 여전히 도전적이다.
• 공개 웹사이트 make.girls.moe는 빠른 다운로드를 위해 더 작은 SRResNet 기반 제너레이터를 사용하고 이미지당 6–7초의 클라이언트 측 생성을 가능하게 한다.