[논문 리뷰] A Classification-Based Study of Covariate Shift in GAN Distributions

Shibani Santurkar, Ludwig Schmidt외 1명|arXiv (Cornell University)|2017. 11. 02.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 GAN에 의해 생성된 분포에서 공변량 이탈을 정량화하기 위한 분류 기반 프레임워크를 제안한다. 이 프레임워크는 모드 붕괴와 경계 왜곡을 주요 다양성 손실의 원인으로 규명한다. 다양한 데이터 영역(예: 중심 영역 대비 경계 영역)에서 실재 데이터와 생성된 샘플을 구분하는 이진 분류기를 훈련시킴으로써, 최신 GAN들조차도 실재 데이터에 비해 분포 다양성에서 뚜렷이 열등함을 드러낸다. 특히 외곽 영역에서 두드러진다. 이는 시각적 품질이 매우 뛰어나지만 분포 다양성 측면에선 열등함을 의미한다.

ABSTRACT

A basic, and still largely unanswered, question in the context of Generative Adversarial Networks (GANs) is whether they are truly able to capture all the fundamental characteristics of the distributions they are trained on. In particular, evaluating the diversity of GAN distributions is challenging and existing methods provide only a partial understanding of this issue. In this paper, we develop quantitative and scalable tools for assessing the diversity of GAN distributions. Specifically, we take a classification-based perspective and view loss of diversity as a form of covariate shift introduced by GANs. We examine two specific forms of such shift: mode collapse and boundary distortion. In contrast to prior work, our methods need only minimal human supervision and can be readily applied to state-of-the-art GANs on large, canonical datasets. Examining popular GANs using our tools indicates that these GANs have significant problems in reproducing the more distributional properties of their training dataset.

연구 동기 및 목표

• 시각적 검토를 초월해 GAN의 분포 다양성 평가를 위한 확장 가능하고 정량적인 방법을 개발하기 위해.
• 두 가지 특정 형태의 다양성 손실인 모드 붕괴와 경계 왜곡을 식별하고 측정하기 위해.
• 최신 GAN들에 대해 최소한의 인간 감시로 적용 가능하고, CelebA 및 LSUN과 같은 대규모 데이터셋에 적용 가능한 프레임워크를 구축하기 위해.
• GAN이 시각적으로 현실적인 샘플을 내보내더라도 실제 데이터의 전체 다양성을 포착하지 못함을 입증하기 위해.

제안 방법

• 입력 공간의 다양한 영역(예: 중심 영역 대비 경계 영역)에서 실재 데이터와 GAN 생성 샘플을 구분하는 이진 분류기를 훈련한다.
• 분류 정확도를 통해 공변량 이탈을 측정한다: 높은 정확도는 실재 데이터와 생성된 데이터 간의 분포 차이가 크다는 것을 의미한다.
• 두 가지 특정 이탈 형태를 정의한다: 모드 붕괴(고밀도 영역에서의 다양성 손실)와 경계 왜곡(저밀도, 외곽 영역에서의 다양성 손실).
• 모든 GAN과 데이터셋에 동일한 분류기 아키텍처를 사용하여 비교 가능성과 확장 가능성을 확보한다.
• CelebA 및 LSUN 데이터셋에서 훈련된 다섯 가지 유명한 GAN들(예: Progressive GAN, StyleGAN)에 이 방법을 적용한다.
• 다양한 분류기 아키텍처에 대한 민감도 분 析을 포함하여, GAN 간 및 실재 데이터 간에 일관된 지표를 사용해 상대적 성능을 평가한다.

실험 결과

연구 질문

• RQ1 공변량 이탈 측정을 통해 GAN은 진정으로 분포의 전체 다양성을 얼마나 잘 포착하지 못하는가?
• RQ2 모드 붕괴와 경계 왜곡은 GAN 생성 샘플의 분포 정밀도에 어떻게 영향을 미치는가?
• RQ3 최소한의 인간 감시와 높은 확장 가능성을 갖춘 분류 기반 접근법으로 GAN의 다양성 손실을 탐지할 수 있는가?
• RQ4 특히 지지 영역의 외곽 영역에서 GAN 생성 데이터의 다양성은 실재 데이터와 어떻게 비교되는가?

주요 결과

• 모든 연구된 GAN은 심각한 공변량 이탈를 보이며, 이는 실재 데이터에 비해 분포 다양성 손실이 상당히 크다는 것을 의미한다.
• 모드 붕괴는 널리 퍼진 문제로, GAN이 데이터 다양성의 고밀도 영역에서 다양한 샘플을 생성하지 못함을 보여준다.
• 경계 왜곡은 이전에 간과되었던 문제로, GAN이 데이터 분포의 외곽에서 다양성이著적으로 감소함을 보여준다.
• GAN이 생성한 데이터의 다양성은 수십 배 이상 작은 실재 데이터셋과 유사하다.
• GAN에 과도하게 샘플을 증식해도 손실된 다양성을 효과적으로 복구하지 못함으로써, 분포 학습의 근본적 한계를 시사한다.
• GAN 샘플의 높은 시각적 품질은 분포 다양성과 상관관계가 없으며, 일부 경우에서는 반대 상관관계를 보이기도 한다.