[논문 리뷰] Mining GOLD Samples for Conditional GANs

Sangwoo Mo, Chiheon Kim외 3명|arXiv (Cornell University)|2019. 10. 21.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 조건부 GAN에 대한 새로운 불일치 측정법인 로그 밀도의 격차(Gap of Log-densities, GOLD)를 제안한다. 이는 디스criminator의 출력을 이용해 주어진 샘플들에서 데이터 분포와 모델 분포 간의 차이를 수량화한다. GOLD를 근사 분포와 조건부 분포 성분으로 분해함으로써, 효과적인 예제 재가중, 기각 샘플링, 활동 학습이 가능해지며, MNIST, SVHN, CIFAR-10 데이터셋 전반에 걸쳐 일관된 성능 향상을 이룬다.

ABSTRACT

Conditional generative adversarial networks (cGANs) have gained a considerable attention in recent years due to its class-wise controllability and superior quality for complex generation tasks. We introduce a simple yet effective approach to improving cGANs by measuring the discrepancy between the data distribution and the model distribution on given samples. The proposed measure, coined the gap of log-densities (GOLD), provides an effective self-diagnosis for cGANs while being efficienty computed from the discriminator. We propose three applications of the GOLD: example re-weighting, rejection sampling, and active learning, which improve the training, inference, and data selection of cGANs, respectively. Our experimental results demonstrate that the proposed methods outperform corresponding baselines for all three applications on different image datasets.

연구 동기 및 목표

• 데이터 분포와 모델 분포 간의 불일치를 측정하여 조건부 GAN의 평가 및 향상에 도전하는 것.
• 디스criminator 출력을 활용해 분포 간 격차를 효율적으로 추정할 수 있는 자기 진단 도구를 개발하는 것.
• GOLD 추정자에 대한 세 가지 새로운 응용을 통해 cGAN의 훈련, 추론, 데이터 선택을 향상시키는 것.
• 최소한의 코드 수정으로 cGAN 성능을 향상시킬 수 있는 단순하고 즉시 사용 가능한 방법을 제공하는 것.

제안 방법

• 주어진 샘플들에서 데이터 분포와 모델 분포 간 불일치를 측정하기 위한 Gap of Log-densities(GOLD) 추정자 도입.
• GOLD를 두 성분으로 분해: 근사 로그 밀도 격차(생성 품질)와 조건부 로그 밀도 격차(클래스 정확도)로, 모두 디스criminator의 이중 브랜치 아키텍처에서 계산 가능.
• 디스criminator의 진짜/가짜 예측 및 보조 분류기 출력을 사용해 두 성분을 추가 학습 없이 효율적으로 계산.
• 두 디스criminator 브랜치의 최적화 수준 부족을 고려한 히우리스틱 균형 기법을 도입해 추정자 안정화.
• 세 가지 응용 도입: 예제 재가중(어려운 샘플 우선 처리), 기각 샘플링(저품질 생성물 필터링), 활동 학습(유의미한 미레이블된 샘플 선택).
• 활동 학습에서 지역 최적화를 피하고 수렴을 향상시키기 위해, 생성자 유지, 디스criminator 재초기화 전략 적용.

실험 결과

연구 질문

• RQ1 디스criminator 출력에서 유도된 불일치 측정법이 조건부 GAN의 훈련 및 추론을 향상시킬 수 있는가?
• RQ2 cGAN 프레임워크에서 개별 샘플들에 대해 데이터와 모델 분포 간 격차를 효과적으로 추정할 수 있는가?
• RQ3 불일치를 근사 및 조건부 성분으로 분해함으로써 생성 품질과 클래스 정확도를 동시에 향상시킬 수 있는가?
• RQ4 GOLD 기반 재가중, 기각 샘플링, 활동 학습이 cGAN 훈련 및 추론에서 기존 기준보다 얼마나 뛰어나게 성능을 향상시킬 수 있는가?
• RQ5 GOLD 추정자는 데이터 공간 내 미반영되거나 불확실한 영역을 효과적으로 탐색하는 데에 활동 학습을 이끌 수 있는가?

주요 결과

• SVHN에서 GOLD 기반 재가중은 cGAN의 피팅 능력을 74.43에서 76.71로 향상시켜 +3.06% 향상.
• SVHN에서 GOLD 기반 기각 샘플링은 피팅 능력을 73.58에서 75.06으로 향상시켜 +2.01% 향상.
• MNIST에서 GOLD 기반 활동 학습 전략은 피팅 능력을 92.65에서 94.60으로 향상시켜 +2.10% 향상.
• 시각화를 통해 GOLD 추정자는 불확실하거나 미반영된 영역에서의 샘플 선택을 효과적으로 수행함을 확인.
• 근사 및 조건부 성분을 함께 사용할 경우 개별 성분을 별도로 사용하는 것보다 더 나은 쿼리 선택이 가능함을 정성적 분석으로 확인.
• 최소한의 아키텍처 수정으로 다수의 데이터셋(MNIST, SVHN, FMNIST, CIFAR-10)에서 일관된 성능 향상을 달성함.