[논문 리뷰] An error analysis of generative adversarial networks for learning distributions

Jian Huang, Yuling Jiao외 4명|arXiv (Cornell University)|2021. 05. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 48인용 수 16

한 줄 요약

이 논문은 확률 분포 학습을 위한 생성적 적대적 네트워크(GANs)의 엄밀한 오차 분석을 제공하며, 헬더 클래스를 통한 적분 확률 거리 측도에서 수렴 속도를 확립한다. 네트워크 아키텍처가 적절히 선택될 경우 GANs가 데이터의 내재 차원에 따라 조절되는 적응형 학습 속도를 달성하여, 낮은 차원의 구조에서는 차원의 극복 문제를 피함을 보여준다.

ABSTRACT

This paper studies how well generative adversarial networks (GANs) learn probability distributions from finite samples. Our main results establish the convergence rates of GANs under a collection of integral probability metrics defined through Hölder classes, including the Wasserstein distance as a special case. We also show that GANs are able to adaptively learn data distributions with low-dimensional structures or have Hölder densities, when the network architectures are chosen properly. In particular, for distributions concentrated around a low-dimensional set, we show that the learning rates of GANs do not depend on the high ambient dimension, but on the lower intrinsic dimension. Our analysis is based on a new oracle inequality decomposing the estimation error into the generator and discriminator approximation error and the statistical error, which may be of independent interest.

연구 동기 및 목표

• 유한한 표본에서 확률 분포를 학습할 때 GAN의 일반화 능력을 이해하기 위해.
• 기존 이론적 분석에서 낮은 차원의 데이터 구조를 고려함으로써 차원의 극복 문제를 해결하기 위해.
• 특히 와서슈타인 거리 포함, 적분 확률 거리 측도(IPM) 하에서 GAN의 수렴 속도를 확립하기 위해.
• 네트워크 아키텍처가 적절히 설계될 경우, 헬더 밀도 또는 낮은 차원의 다양체를 가진 분포를 적응적으로 학습할 수 있음을 보여주기 위해.

제안 방법

• 추정 오차를 생성기 근사 오차, 판별기 근사 오차, 통계 오차로 분해하는 새로운 오ракル 부등식을 제안한다.
• 헬더 함수의 클래스를 통해 정의된 적분 확률 거리 측도(IPM) 하에서 수렴 속도를 분석한다.
• 라드엠처 복잡도와 체이닝 기법을 사용하여 통계 오차 항을 판별기 클래스의 가짜 차원에 따라 유계한다.
• 커버링 수와 메트릭 엔트로피를 이용해 일반화 경계를 유도하며, 이를 함수 클래스의 가짜 차원과 연결한다.
• 데이터 분포가 낮은 차원의 다양체 근처에 존재할 경우, 수렴 속도가 내재 차원에 따라 결정되며, 이는 환경 차원에 영향을 받지 않음을 보여준다.
• 특정 사례, 예를 들어 헬더 스무쓰 밀도와 낮은 차원의 집합에 지지된 분포에 이 те론을 적용한다.

실험 결과

연구 질문

• RQ1 GANs는 유한한 i.i.d. 표본으로부터 목표 확률 분포를 추정할 때 어떻게 수렴하는가?
• RQ2 데이터가 또는 낮은 차원의 다양체 근처에 존재할 경우, GANs는 차원의 극복 문제를 피할 수 있는가?
• RQ3 생성기 및 판별기 네트워크 아키텍처는 GAN의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 판별기 클래스의 선택(예: 헬더 클래스)은 GAN의 일반화 오차에 어떤 영향을 미치는가?
• RQ5 추정 오차는 근사 오차와 통계 오차로 분해될 수 있으며, 각각의 기여도는 무엇인가?

주요 결과

• 헬더 클래스에 대한 IPM 하에서 GAN의 수렴 속도는 $ C B \sqrt{\frac{\text{Pdim}(\mathcal{F}) \log n}{n}} $ 이하로 유계되며, 여기서 $ B $ 는 판별기 함수의 균일 유계이고 $ \text{Pdim}(\mathcal{F}) $ 는 판별기 클래스의 가짜 차원이다.
• 내재 차원 $ d $ 를 가진 낮은 차원의 다양체에 지지된 분포에 대해서는, GAN의 수렴 속도가 환경 차원 $ D $ 가 아닌 $ d $ 에 따라 결정되므로, 차원의 극복 문제를 피할 수 있다.
• 목표 분포가 헬더 밀도를 가질 경우, GAN은 적응형 학습 속도를 달성하며, 부드러움 $ \beta $ 가 증가할수록 속도가 향상된다.
• 일반화 오차는 세 구성요소로 분해되며, 생성기 근사 오차, 판별기 근사 오차, 통계 오차로 나뉘며, 후자는 라드엠처 복잡도를 통해 유계된다.
• 판별기 클래스의 가짜 차원이 유한할 경우, 통계 오차는 $ \sqrt{\frac{\text{Pdim}(\mathcal{F}) \log n}{n}} $ 의 속도로 감소하며, 이는 로그 인자 외에는 최적이다.
• 분석 결과, GAN의 경험 최소최대 문제는 표본 크기가 증가함에 따라 추정된 분포가 진짜 분포로 IPM 거리 측도에서 수렴함을 보여주며, 일致성(consistency)을 갖는다.