[논문 리뷰] Conditional Image Synthesis With Auxiliary Classifier GANs

Augustus Odena, Christopher Olah외 1명|arXiv (Cornell University)|2016. 10. 30.

Cell Image Analysis Techniques참고 문헌 30인용 수 2,070

한 줄 요약

이 논문은 보조 분류기(auxiliary classifier)가 있는 클래스-조건 GAN 변형인 AC-GAN을 도입하여 128×128 고해상도이면서 전역적으로 일관된 ImageNet 샘플과 출력의 판별력 및 다양성을 평가하는 새로운 지표를 가능하게 한다.

ABSTRACT

Synthesizing high resolution photorealistic images has been a long-standing challenge in machine learning. In this paper we introduce new methods for the improved training of generative adversarial networks (GANs) for image synthesis. We construct a variant of GANs employing label conditioning that results in 128x128 resolution image samples exhibiting global coherence. We expand on previous work for image quality assessment to provide two new analyses for assessing the discriminability and diversity of samples from class-conditional image synthesis models. These analyses demonstrate that high resolution samples provide class information not present in low resolution samples. Across 1000 ImageNet classes, 128x128 samples are more than twice as discriminable as artificially resized 32x32 samples. In addition, 84.7% of the classes have samples exhibiting diversity comparable to real ImageNet data.

연구 동기 및 목표

• GAN 기반 이미지 합성에서 클래스 조건화 및 보조 분류를 활용한 개선된 학습 동기 부여 및 개발.
• 모든 1000개 ImageNet 클래스에 대해 전역적 일관성을 갖춘 128×128 해상도 이미지 생성을 시연.
• 모델이 출력 해상도를 얼마나 활용하는지(판별력)와 클래스 내 다양성(MS-SSIM)을 평가하기 위한 지표를 도입.
• 클래스 분할과 데이터셋 규모가 샘플 품질과 다양성에 어떤 영향을 미치는지 분석.
• 고품질 샘플이 다양하면서도 단순히 기억되거나 붕괴되지 않는다는 근거를 제시.
• AC-GAN을 활용한 잠재적 반지도 학습(semi-supervised learning) 응용에 대한 통찰 제공

제안 방법

• G가 (c, z)를 받아 X_fake를 생성하게 하는 보조 분류기 GAN(AC-GAN) 제안; D는 S(출처)와 C(클래스)를 출력.
• L_S(정확한 출처의 로그가능도)와 L_C(정확한 클래스의 로그가능도)를 최대화하도록 D를 학습하고, G는 L_C − L_S를 최대화하도록 학습.
• ImageNet의 10-클래스 분할 각각에 대해 100개의 AC-GAN 앙상블을 훈련시켜 1000개 클래스까지 확장.
• 고해상도 출력이 더 많은 클래스 정보를 담고 있음을 보이기 위해 하향 샘플링된 더 낮은 해상도 이미지에서 Inception 정확도로 판별력을 평가.
• 생성 샘플 간의 쌍에 대한 MS-SSIM을 사용해 클래스 내 다양성을 측정하고 ImageNet 학습 데이터와 비교.

실험 결과

연구 질문

• RQ1 AC-GAN이 1000개 ImageNet 클래스에 대해 전 globally 일관된 128×128 이미지를 생성할 수 있는가?
• RQ2 고해상도 생성 샘플이 다운샘플링되거나 낮은 해상도 출력보다 더 많은 클래스 정보를 유지하는가?
• RQ3 생성 샘플이 많은 클래스에서 실제 데이터에 비해 지각적 다양성을 보여 주는가?
• RQ4 1000개 클래스를 더 작은 분할로 나누는 것이 샘플 품질과 모델 학습 안정성에 어떤 영향을 주는가?
• RQ5 생성 샘플이 과적합이나 기억에 의존하기 쉬운가, 잠재 공간 보간이 의미 있는 구조를 드러내는가?

주요 결과

• AC-GAN은 1000개 ImageNet 클래스 전체에 대해 전 글로벌 일관성을 가진 128×128 샘플을 생성한다.
• 128×128 샘플을 32×32로 다운샘플링하면 시각적 판별력이 50% 감소하며, 84.4%의 클래스가 128×128에서 32×32보다 더 높은 Inception 정확도를 보인다.
• 생성 샘플의 평균 MS-SSIM 다양성은 1000개 클래스 중 847개에서 학습 데이터보다 낮았으며(다양성이 실제 데이터와 비슷한 클래스를 차지하는 비율 84.7%).
• AC-GAN은 Salimans 등 2016 기술을 사용하지 않고 CIFAR-10에서 Inception 점수 8.25±0.07를 달성하여 이전 최첨단 8.09±0.07를 상회한다.
• 잠재 공간 보간은 의미 있는 의미적 전이를 보여주고 z와 클래스 레이블의 부분적 분리에 의해 구성적 구조가 드러난다는 것을 시사한다.
• 가장 가까운 이웃 분석은 생성 샘플이 학습 데이터의 기억된 복제본이 아님을 시사한다.