[논문 리뷰] Ensembles of Generative Adversarial Networks

Yaxing Wang, Lichao Zhang외 1명|arXiv (Cornell University)|2016. 12. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 40

한 줄 요약

이 논문은 동일한 초기화에서 시작하지만 다른 학습 반복 수를 거친 다수의 생성 모델을 조합하여 데이터 분포 모델링을 향상시키는 자기 앙상블 생성 대비 신경망(seGANs)을 제안한다. 이 방법은 표준 앙상블(eGANs)과 유사한 성능을 달성하면서도 훨씬 낮은 계산 비용을 요구하며, CIFAR-10에서 이미지 검색의 평균 최근접 이웃 거리를 40% 감소시킨다.

ABSTRACT

Ensembles are a popular way to improve results of discriminative CNNs. The combination of several networks trained starting from different initializations improves results significantly. In this paper we investigate the usage of ensembles of GANs. The specific nature of GANs opens up several new ways to construct ensembles. The first one is based on the fact that in the minimax game which is played to optimize the GAN objective the generator network keeps on changing even after the network can be considered optimal. As such ensembles of GANs can be constructed based on the same network initialization but just taking models which have different amount of iterations. These so-called self ensembles are much faster to train than traditional ensembles. The second method, called cascade GANs, redirects part of the training data which is badly modeled by the first GAN to another GAN. In experiments on the CIFAR10 dataset we show that ensembles of GANs obtain model probability distributions which better model the data distribution. In addition, we show that these improved results can be obtained at little additional computational cost.

연구 동기 및 목표

• 단일 GAN보다 앙상블된 GAN이 진짜 데이터 분포를 더 잘 모델링할 수 있는지 조사하기 위해.
• GAN의 수렴하지 않는 학습 동역학을 감안할 때 계산 비용이 효율적인 앙상블 전략을 탐색하기 위해.
• 동일한 초기화에서 다른 학습 단계에서 생성된 모델인 자기 앙상블(seGANs)이 표준 앙상블의 성능을 따라할 수 있는지 평가하기 위해.
• 잘 모델링되지 않은 데이터 영역을 재학습하는 데 사용되는 캐스케이드 GANs(cGANs)가 생성 품질 향상에 효과적인지 평가하기 위해.
• 이미지 검색 지표를 사용한 생성 모델에 대한 정량적 평가 프레임워크를 제공하기 위해.

제안 방법

• 동일한 초기화에서 시작하지만 다른 학습 반복 수(예: 30–40 에포크)에서 훈련된 생성 모델을 조합하여 자기 앙상블(seGANs)을 제안한다.
• 표준 앙상블(eGANs)을 기준선으로 사용하며, 동일한 데이터셋에서 서로 다른 랜덤 초기화로 다수의 GAN을 훈련시킨다.
• 첫 번째 GAN에서 잘못 분류되거나 잘 생성되지 않은 샘플을 두 번째 GAN으로 재지정하여 재학습하는 캐스케이드 GANs(cGANs)를 도입한다.
• 이미지 검색을 평가 지표로 사용하며, 생성된 이미지와 실제 테스트 이미지 간의 평균 최근접 이웃 거리를 측정한다.
• 다수의 생성 모델 출력을 확률 평균화를 통해 조합하여 단일이고 더 견고한 모델 분포를 형성한다.
• 모든 방법에서 공정한 비교를 위해 생성된 이미지 수를 10,000개로 고정한다.

실험 결과

연구 질문

• RQ1 CIFAR-10에서 단일 GAN보다 앙상블된 GAN이 진짜 데이터 분포를 더 잘 모델링할 수 있는가?
• RQ2 자기 앙상블(seGANs)은 학습 비용을 줄이며 표준 앙상블(eGANs)과 유사한 성능을 달성할 수 있는가?
• RQ3 잘 모델링되지 않은 데이터 영역을 재학습하는 캐스케이드 GAN 접근법은 표준 GAN보다 생성 품질을 향상시키는가?
• RQ4 캐스케이드 GANs에서 성능 향상을 위한 최적의 데이터 재지정 비율은 무엇인가?
• RQ5 이미지 검색 지표는 생성 모델의 분포 유사성 측면에서 신뢰할 수 있는 평가 도구인가?

주요 결과

• 자기 앙상블(seGANs)은 표준 앙상블(eGANs)과 유사한 성능을 달성하며, 단일 GAN 대비 평균 최근접 이웃 거리를 40% 감소시켰다.
• 최적의 캐스케이드 GAN 성능은 데이터 재지정 비율 0.8에서 달성되었으며, 단일 GAN과 표준 앙상블 모두를 뛰어넘었다.
• 8개의 모델을 사용한 seGANs에서는 평균 최근접 이웃 거리가 0.06%로, 단일 GAN의 0.11% 대비 40% 향상되었다.
• seGANs의 성능은 모델 수가 증가함에 따라 향상되지만, 4~8개 모델 사이에서 포화 상태에 도달하여 그 이상에서는 수익 감소가 나타났다.
• 시각적 예시에서는 단일 GAN이 실패하는 경우에도 seGANs가 쿼리 이미지와 유사한 이미지를 생성하는 것으로 나타났다.
• 이미지 검색 지표는 신뢰할 수 있는 평가 도구로 검증되었으며, 훈련 세트 분포가 모든 생성 모델보다 뛰어나 성능을 내어 분포 충실도에 민감함을 확인했다.