[논문 리뷰] Discriminator Rejection Sampling

Samaneh Azadi, Catherine Olsson외 3명|arXiv (Cornell University)|2018. 10. 16.

Domain Adaptation and Few-Shot Learning인용 수 27

한 줄 요약

이 논문은 학습된 GAN 생성기의 분포 오차를 수정하기 위해 훈련된 GAN 판별기의 출력을 기반으로 거부 샘플링을 수행하는 후처리 방법인 Discriminator Rejection Sampling (DRS)을 제안한다. 판별기의 신뢰도 점수를 활용함으로써, ImageNet에서 FID와 Inception Score를 크게 향상시켰으며, 개선된 SAGAN 기반 모델에서 Inception Score 76.08과 FID 13.75를 달성하였다.

ABSTRACT

We propose a rejection sampling scheme using the discriminator of a GAN to approximately correct errors in the GAN generator distribution. We show that under quite strict assumptions, this will allow us to recover the data distribution exactly. We then examine where those strict assumptions break down and design a practical algorithm - called Discriminator Rejection Sampling (DRS) - that can be used on real data-sets. Finally, we demonstrate the efficacy of DRS on a mixture of Gaussians and on the SAGAN model, state-of-the-art in the image generation task at the time of developing this work. On ImageNet, we train an improved baseline that increases the Inception Score from 52.52 to 62.36 and reduces the Frechet Inception Distance from 18.65 to 14.79. We then use DRS to further improve on this baseline, improving the Inception Score to 76.08 and the FID to 13.75.

연구 동기 및 목표

• 대부분의 GAN 생성기가 적대적 훈련에도 불구하고 진정한 데이터 분포를 완벽하게 일치시키지 못하는 문제를 해결하기 위해.
• 학습된 판별기 내에 생성기 분포 오류를 수정하는 데 유용한 정보가 남아 있는지 탐색하기 위해.
• 재훈련 없이도 생성 샘플 품질을 향상시킬 수 있는 실용적인 후처리 방법을 개발하기 위해.
• 최신 GAN을 사용하여 합성 가우시안 혼합 및 실세계 ImageNet 데이터에 대해 이 방법을 경험적으로 검증하기 위해.

제안 방법

• 이 방법은 학습된 판별기의 출력을 거부 샘플링을 위한 점수 함수로 사용하여, 생성된 샘플의 신뢰도에 따라 수락 또는 기각한다.
• 동적 임계값 전략을 적용하여, 각 배치의 판별기 점수 중 80번째 백분율에 해당하는 값을 수락 임계값으로 설정한다.
• 엄격한 가정 하에서 이론적으로 정당화되며, 판별기가 최적일 경우 진정한 데이터 분포 복원이 가능하다.
• 실제 응용을 위해, 유한한 모델 용량과 비최적의 최적화와 같은 이론적 가정의 붕괴를 고려한다.
• 특히 힌지 손실을 사용할 경우와의 호환성을 확보하기 위해 판별기 위에 시그모이드 출력 층을 추가한다.
• 이 방법은 훈련 후 적용되며, 생성기나 훈련 과정에 대한 수정이 필요 없다.

실험 결과

연구 질문

• RQ1 재훈련 없이도 학습된 판별기를 사용하여 GAN 생성기의 분포 오차를 수정할 수 있는가?
• RQ2 판별기가 진정한 데이터 분포를 정확히 복원할 수 있는 이론적 조건은 무엇인가?
• RQ3 이론적 가정의 위반은 실질적인 거부 샘플링 기반 방법의 성능에 어떤 영향을 미치는가?
• RQ4 DRS는 실세계 데이터셋인 ImageNet에서 생성 품질을 어느 정도 향상시킬 수 있는가?

주요 결과

• ImageNet에서 DRS는 개선된 SAGAN 기반 모델의 Inception Score를 62.36에서 76.08로 향상시키고, FID를 14.79에서 13.75로 감소시켰다.
• 기준 모델 대비 Inception Score는 23.5% 상승했고, FID는 12.5% 감소했다.
• 수락 확률이 높은 샘플은 항상 더 시각적으로 일관되고 명확한 객체 클래스로 식별되었다.
• 잠재 공간 내의 보간을 따라 수락 확률이 단조 감소하는 경향을 보였으며, 이는 판별기가 의미 있는 품질 신호를 캐릭터화하고 있음을 시사한다.
• 정성적 분석 결과, 고수용 확률 샘플은 저수용 확률 샘플보다 더 현실적이며 노이즈가 적었다.