[논문 리뷰] Improved ArtGAN for Conditional Synthesis of Natural Image and Artwork

Wei Tan, Chee Seng Chan외 2명|arXiv (Cornell University)|2017. 08. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 4

한 줄 요약

이 논문은 이미지 합성 성능을 향상시키기 위해 레이블 기울기(backpropagating label gradients)를 생성기로 되돌려보내고, 분류형 오토에코더를 판별기 내에 통합하여 더 나은 특징 학습을 가능하게 하는 조건부 GAN인 ArtGAN을 제안한다. 이 모델은 CIFAR-10에서 최고 수준의 Inception 점수를 기록하며, 다양한 스타일, 장르, 예술가들에 대해 고해상도이고 현실적인 이미지와 예술 작품을 생성한다. 이는 추상적이고 비도금적 표현까지 포함된다.

ABSTRACT

This paper proposes a series of new approaches to improve Generative Adversarial Network (GAN) for conditional image synthesis and we name the proposed model as ArtGAN. One of the key innovation of ArtGAN is that, the gradient of the loss function w.r.t. the label (randomly assigned to each generated image) is back-propagated from the categorical discriminator to the generator. With the feedback from the label information, the generator is able to learn more efficiently and generate image with better quality. Inspired by recent works, an autoencoder is incorporated into the categorical discriminator for additional complementary information. Last but not least, we introduce a novel strategy to improve the image quality. In the experiments, we evaluate ArtGAN on CIFAR-10 and STL-10 via ablation studies. The empirical results showed that our proposed model outperforms the state-of-the-art results on CIFAR-10 in terms of Inception score. Qualitatively, we demonstrate that ArtGAN is able to generate plausible-looking images on Oxford-102 and CUB-200, as well as able to draw realistic artworks based on style, artist, and genre. The source code and models are available at: https://github.com/cs-chan/ArtGAN

연구 동기 및 목표

• 학습 중에 레이블 정보를 더 효과적으로 활용함으로써 조건부 GAN의 이미지 합성 성능을 향상시키는 것.
• 조건부 입력으로부터 고해상도 자연 이미지와 복잡한 예술 작품(추상적·비도금적 스타일 포함)을 생성하는 것.
• 기존 GAN이 추상적이거나 스타일리시한 특성로 인해 쉽게 포착하지 못하는 예술적 표현을 학습하는 데 도전하는 것.
• 여러 GAN을 훈련하지 않고도 계산 비용을 절감하면서 이미지 품질을 향상시키는 효율적인 방법을 개발하는 것.
• 잠재 공간 내에서 매끄럽고 타당한 보간을 통해 모델이 학습 데이터의 암기에 그치지 않고 일반화되었음을 입증하는 것.

제안 방법

• 생성기는 노이즈 벡터와 무작위로 할당된 레이블을 입력으로 받으며, 레이블는 손실 함수 계산에 사용된다.
• 레이블 기울기가 분류형 판별기에서 생성기로 역전파되어, 클래스별 특징을 더 효율적으로 학습할 수 있도록 한다.
• 분류형 오토에코더 기반 판별기에서 공유 인코더를 사용하여, 동시에 클래스 예측, 적대적 훈련 및 이미지 복원을 수행한다.
• 새로운 이미지 품질 향상 전략은 생성된 이미지를 두 배 해상도로 업샘플링한 후 평균 풀링을 적용하여, 향상된 픽셀 품질을 시뮬레이션하는 투표 메커니즘을 모방한다.
• 아키텍처 이름인 ArtGAN-AEM은 오토에코더와 판별기를 공유된 가중치로 통합하여 계산 비용을 줄인다.
• 잠재 공간 내 보간을 수행하여 일반화 능력을 평가하고 학습 데이터의 암기 방지를 확인한다.

실험 결과

연구 질문

• RQ1 레이블 기울기를 역전파함으로써 조건부 GAN에서 생성기가 클래스별 시각적 특징을 더 잘 학습할 수 있는가?
• RQ2 판별기에 오토에코더를 통합함으로써 조건부 이미지 합성에서 특징 표현과 이미지 품질이 향상되는가?
• RQ3 제안된 해상도 업샘플링 및 평균 풀링 투표 전략이 여러 GAN을 훈련하지 않고도 생성된 이미지 품질을 효과적으로 향상시키는가?
• RQ4 모델은 다양한 스타일, 장르, 예술가들에 대해 현실적이고 다양한 예술 작품을 생성할 수 있는가? 특히 추상적·비도금적 형태까지 포함하여?
• RQ5 잠재 공간 내에서 매끄럽고 타당한 보간이 가능함으로써, 모델이 학습 데이터를 암기한 데서 벗어나 일반화되었음을 확인할 수 있는가?

주요 결과

• ArtGAN-AEM은 CIFAR-10에서 최고 수준의 Inception 점수를 기록하여 이전 방법들을 능가한다.
• 모델은 Oxford-102 및 CUB-200 데이터셋에서 높은 품질의 타당한 이미지를 생성하며, 명확한 객체 구조와 현실적인 세부 사항을 보여준다.
• ArtGAN은 바ロック의 어두운 톤, 로코코의 밝은 톤, 우키요에 인화의 노란빛 톤과 같은 독특한 예술 스타일을 성공적으로 학습하고 재현한다.
• 빈센트 반 고흐, 유진 부딘, 이바네 시시킨 등의 예술가들의 시뮬레이션된 그림은 각각 표현주의 브러시워크, 해양 주제, 숲 풍경 등 특징적인 스타일을 반영한다.
• 잠재 공간 내 보간 결과는 생성된 이미지 간에 매끄럽고 타당한 전환을 보이며, 모델이 학습 데이터를 암기하지 않았음을 확인한다.
• 모델은 위키아트 데이터셋에서 스타일, 장르, 예술가를 기반으로 현실적인 예술 작품을 생성하여, 복잡한 비도금적 표현을 효과적으로 학습할 수 있음을 보여준다.