[논문 리뷰] ArtGAN: Artwork Synthesis with Conditional Categorical GANs

Wei Tan, Chee Seng Chan외 2명|arXiv (Cornell University)|2017. 02. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 17

한 줄 요약

ArtGAN은 생성자에 레이블 피드백을 역전파하는 조건부 분류 GAN 프레임워크를 도입하여, 더 명확한 구조를 가진 복잡한 추상 예술 작품과 자연 이미지의 합성을 향상시킨다. 훈련 중 레이블 감독을 통합함으로써 ArtGAN은 CIFAR-10과 실제 예술 스타일 전이에서 DCGAN 및 GAN/VAE보다 정량적·정성적 평가 모두에서 뛰어난 이미지 품질을 달성한다.

ABSTRACT

This paper proposes an extension to the Generative Adversarial Networks (GANs), namely as ARTGAN to synthetically generate more challenging and complex images such as artwork that have abstract characteristics. This is in contrast to most of the current solutions that focused on generating natural images such as room interiors, birds, flowers and faces. The key innovation of our work is to allow back-propagation of the loss function w.r.t. the labels (randomly assigned to each generated images) to the generator from the discriminator. With the feedback from the label information, the generator is able to learn faster and achieve better generated image quality. Empirically, we show that the proposed ARTGAN is capable to create realistic artwork, as well as generate compelling real world images that globally look natural with clear shape on CIFAR-10.

연구 동기 및 목표

• 기존 GAN이 명확한 배경/전경 또는 비정형 형태를 가진 추상적이고 비도금적 예술 작품을 생성하는 데에 한계를 보이는 문제를 해결하기 위해.
• 훈련 중 디스criminator에서 생성자로 레이블 정보의 역전파를 가능하게 하여 이미지 생성 품질을 향상시키기 위해.
• 조기 분리된 예술 스타일과 장르를 더 잘 분리할 수 있도록 조건부 GAN을 확장하기 위해.
• 레이블 피드백이 생성자 학습을 향상시켜 특히 도전적인 예술 분야에서 더 현실적이고 구조적으로 일관된 이미지를 생성할 수 있음을 입증하기 위해.
• CIFAR-10과 같은 표준 벤치마크와 함께 예술 데이터셋에서의 일반화 능력을 검증하기 위해.

제안 방법

• ArtGAN은 표준 GAN을 확장하여 생성자와 디스criminator 양쪽에 $\hat{\mathbf{y}}$ 레이블 입력을 추가하고, 생성자로 레이블 기반 손실 기울기를 역전파하는 것이 핵심 혁신이다.
• 디스criminator는 소프트맥스 대신 시그모이드 활성화를 사용하여 $K+1$-클래스 확률 분포를 출력함으로써 다중 클래스 또는 오픈 세트 분류를 가능하게 한다.
• 생성자의 인코더에서 디코더로 잔차 연결을 추가하여 L2 픽셀 단위 재구성 손실을 지원함으로써 이미지 정밀도를 향상시킨다.
• Larsen 등에 영감을 받아 적대적 손실과 L2 재구성 손실을 결합함으로써 훈련 안정성과 시각적 품질을 향상시킨다.
• 생성된 이미지의 내용(예: 작가, 장르, 스타일)에 따라 레이블를 할당하고, 이러한 레이블을 사용해 디스criminator의 피드백을 생성자로 이끌어낸다.
• 유연한 레이블 표현과 시그모이드 기반 출력 덕분에 모델은 다중 레이블 및 오픈 세트 인식 작업으로 일반화된다.

실험 결과

연구 질문

• RQ1 생성자로 레이블 피드백을 역전파하는 GAN 아키텍처가 표준 GAN보다 더 높은 품질의 현실적인 예술 작품을 생성할 수 있는가?
• RQ2 분류 레이블 감독을 통합함으로써 생성된 이미지에서 예술 스타일과 장르의 분리가 향상되는가?
• RQ3 추상 예술 작품으로 훈련된 ArtGAN이 CIFAR-10과 같은 표준 벤치마크에서 더 명확한 객체 구조와 더 적은 아티팩트를 가진 이미지를 생성할 수 있는가?
• RQ4 적대적 손실 외에 L2 재구성 손실을 포함함으로써 생성된 이미지의 시각적 품질은 어떻게 영향을 받는가?
• RQ5 근접 이웃 비교를 통해 측정했을 때 모델이 훈련 데이터를 단순히 암기하는 정도는 어느 정도인가?

주요 결과

• Parzen 창 추정을 사용해 CIFAR-10에서 ArtGAN은 2564 ± 67의 최고 로그-가능도 점수를 기록했으며, DCGAN(2348 ± 67)과 GAN/VAE(2483 ± 67)를 모두 능가했다.
• 정성적 결과에서는 ArtGAN이 더 자연스럽고 매력적인 예술 작품을 생성함을 확인할 수 있었으며, 비센트 반 고흐와 구스타브 도레의 특정 스타일을 모방할 때 특히 뛰어난 색조의 정확성과 스타일 일관성을 보였다.
• 모델은 우키요에 목판화의 노란빛 톤이나 반 고흐의 초기 작품에서의 흑백 스케치와 같은 스타일적 특징을 성공적으로 포착했다.
• CIFAR-10에서 ArtGAN는 자동차, 말 등의 더 명확한 객체 형태를 생성했으며, DCGAN은 더 흐리고 구조가 뚜렷하지 않은 출력을 보였다.
• 근접 이웃 분석(Fig. 5)은 ArtGAN가 훈련 이미지의 정확한 복제를 단순히 암기하지 않음을 확인했으며, 생성된 샘플이 어떤 훈련 예제도 정확히 일치하지 않았다.
• 레이블 피드백의 사용은 아티팩트 감소와 함께 예술 작품 및 자연 이미지에서의 구조적 일관성 향상을 통해 생성자 학습 향상이 뚜렷하게 나타났다.