[논문 리뷰] On the Discrimination-Generalization Tradeoff in GANs

Pengchuan Zhang, Qiang Liu외 3명|arXiv (Cornell University)|2017. 11. 07.

Evolutionary Algorithms and Applications참고 문헌 33인용 수 34

한 줄 요약

이 논문은 GAN의 신경망 분류기 분류기(판별기)가 실재 데이터와 생성된 데이터를 구분하는 능력(판별력)과 미리 보지 않은 데이터로의 일반화 능력을 동시에 확보할 수 있는 이론적 조건을 규명한다. 판별기가 실재 데이터와 생성된 데이터를 구분할 수 있도록 하기 위해선 그 선형 스펙트럼이 유계 연속 함수 공간에서 조밀해야 하며, 이 조건은 단일 뉴런 네트워크조차도 쉽게 만족시킬 수 있다. 또한, 일반화 경계를 도출하여 작고 단순한 판별기 집합이 생성기 크기와 무관하게 일반화를 보장함을 보여주며, 특히 신경 거리와 KL 발산 기반의 경계를 제시한다.

ABSTRACT

Generative adversarial training can be generally understood as minimizing certain moment matching loss defined by a set of discriminator functions, typically neural networks. The discriminator set should be large enough to be able to uniquely identify the true distribution (discriminative), and also be small enough to go beyond memorizing samples (generalizable). In this paper, we show that a discriminator set is guaranteed to be discriminative whenever its linear span is dense in the set of bounded continuous functions. This is a very mild condition satisfied even by neural networks with a single neuron. Further, we develop generalization bounds between the learned distribution and true distribution under different evaluation metrics. When evaluated with neural distance, our bounds show that generalization is guaranteed as long as the discriminator set is small enough, regardless of the size of the generator or hypothesis set. When evaluated with KL divergence, our bound provides an explanation on the counter-intuitive behaviors of testing likelihood in GAN training. Our analysis sheds lights on understanding the practical performance of GANs.

연구 동기 및 목표

• GAN이 판별력과 일반화를 동시에 확보할 수 있는 이론적 조건을 이해하는 것.
• GAN 목표 함수가 판별력과 일반화 가능성을 동시에 확보할 수 있도록 판별기 집합의 역할을 분석하는 것.
• 생성기 집합에 관계없이 다양한 평가 지표 기반으로 GAN의 일반화 경계를 유도하는 것.
• KL 발산 기반 경계를 통해 GAN 학습에서 테스트 로그우도의 직관에 어긋나는 행동을 이론적으로 설명하는 것.
• 실제 GAN 학습에서 판별기 용량과 일반화 성능 사이의 균형을 규명하는 것.

제안 방법

• 판별기 집합의 함수 선형 스펙트럼이 유계 연속 함수 공간에서 조밀할 경우 그 판별기 집합은 판별력이 보장된다고 증명한다.
• 적분 확률 거리 측도(IPM)를 사용하여 GAN 학습 목표를 데이터 분포와 생성 분포 간의 거리 최소화로 수식화한다.
• 신경 거리 기반 일반화 경계를 도출하여, 생성기 크기와 무관하게 판별기 집합이 충분히 작을 경우 일반화가 보장됨을 보여준다.
• KL 발산 기반 일반화 경계를 제공하여, GAN에서 테스트 로그우도의 불안정성 원인을 설명한다.
• 특히 마지막 레이어의 특징에 대한 판별기 특징의 선형 스펙트럼을 사용하여 신경 거리와 신경 발산을 분석한다.
• 함수 해석학과 경험 과정 이론의 결과를 적용하여, 판별기의 복잡성에 기반해 일반화 오차의 경계를 유도한다.

실험 결과

연구 질문

• RQ1 GAN에서 신경 거리가 언제 판별력이 보장되는가?
• RQ2 판별기 집합의 크기와 복잡도는 GAN의 일반화 성능에 어떻게 영향을 미치는가?
• RQ3 왜 GAN 학습에서 테스트 로그우도가 종종 직관에 어긋나는가? 이는 이론적으로 설명될 수 있는가?
• RQ4 생성기 집합에 관계없이 일반화 경계를 도출할 수 있으며, 그 경계의 날카로움은 무엇에 의해 결정되는가?
• RQ5 판별기의 표현력과 생성된 분포의 일반화 사이의 이론적 관계는 무엇인가?

주요 결과

• 판별기 집합의 함수 선형 스펙트럼이 유계 연속 함수 공간에서 조밀할 경우, 그 판별기 집합은 판별력이 보장되며, 이 조건은 단일 뉴런 네트워크조차도 쉽게 만족시킬 수 있다.
• 생성기나 가설 집합의 크기와 무관하게, 판별기 집합이 충분히 작을 경우, 신경 거리 기반 일반화가 보장된다.
• KL 발산 기반 일반화 경계는 GAN 학습에서 테스트 로그우도가 직관에 어긋나는 행동을 보이는 이유를 설명한다. 즉, 낮은 로그우도가 반드시 열악한 생성 성능을 의미하는 것은 아니다.
• 신경 발산은 판별기의 마지막 레이어 특징의 선형 스펙트럼이 유계 연속 함수 공간에서 조밀할 경우 판별력이 보장된다.
• 이론적 분석은 판별력과 일반화 사이의 근본적인 상충 관계를 드러내며, 판별력을 확보하기 위해서는 큰 판별기가 필요하지만, 일반화를 확보하기 위해서는 작은 판별기가 필요하다는 점을 밝혀낸다.
• 결과는 실질적인 GAN 방법들과 일치하며, 좋은 판별력과 일반화를 동시에 확보하기 위해 암묵적으로 판별기 용량을 균형 잡는 경향이 있음을 시사한다.