[논문 리뷰] Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks

Minshuo Chen, Wenjing Liao외 2명|arXiv (Cornell University)|2020. 02. 10.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 헬더-스무쓰한 밀도를 가진 데이터 분포를 추정하는 데 있어 생성적 적대적 네트워크(GANs)에 대한 이론적 보장을 수립한다. 깊이 있는 ReLU 네트워크를 사용하여 생성자와 판별자 아키텍처를 철저히 설계함으로써, 저차원 선형 구조를 띠는 데이터에서 워샤프스키안-1 거리 기준으로 일致한 추정을 달성하고, 차원의 저주를 피하는 빠른 수렴 속도 $\widetilde{O}(n^{-1/(2+q)})$ 를 보여준다.

ABSTRACT

Generative Adversarial Networks (GANs) have achieved a great success in unsupervised learning. Despite its remarkable empirical performance, there are limited theoretical studies on the statistical properties of GANs. This paper provides approximation and statistical guarantees of GANs for the estimation of data distributions that have densities in a Hölder space. Our main result shows that, if the generator and discriminator network architectures are properly chosen, GANs are consistent estimators of data distributions under strong discrepancy metrics, such as the Wasserstein-1 distance. Furthermore, when the data distribution exhibits low-dimensional structures, we show that GANs are capable of capturing the unknown low-dimensional structures in data and enjoy a fast statistical convergence, which is free of curse of the ambient dimensionality. Our analysis for low-dimensional data builds upon a universal approximation theory of neural networks with Lipschitz continuity guarantees, which may be of independent interest.

연구 동기 및 목표

• 강한 이질성 척도(예: 워샤프스키안-1 거리) 하에서 비지도 분포 추정에 대한 GANs의 이론적 기초를 확립하기 위해.
• 기존 GAN 이론에서 통계적 일치성과 수렴 속도 분석의 부족을 해결하기 위해.
• GANs가 고차원 데이터 분포 내 잠재된 저차원 선형 구조를 포착할 수 있고, 차원에 영향을 받지 않는 수렴 속도를 달성할 수 있는지 조사하기 위해.
• 근사 및 통계적 일치성을 보장하는 명시적인 신경망 아키텍처(깊이, 너비, 파라미터 수)를 제공하기 위해.
• 생성자와 판별자 네트워크 설계 간의 상호작용이 추정 오차와 일반화에 미치는 영향을 분석하기 위해.

제안 방법

• GANs를 데이터 분포와 생성된 분포 간의 적분 확률 거리(IPM)를 최소화하는 최소최대 최적화 문제로 공식화한다.
• 주요 이질성 척도로 워샤프스키안-1 거리를 사용하며, 이는 1-립시츠 연속 판별자 클래스에 대응한다.
• 깊이 있는 ReLU 아키텍처를 사용하여 생성자 및 판별자 네트워크를 구성하고, 유니버설 근사성과 리프시츠 연속성을 보장하기 위해 깊이, 너비, 파라미터 수에 명시적인 상한을 설정한다.
• 전체 오차를 네 가지 구성요소로 분해한다: 생성자 근사 오차, 유한 샘플에서 비롯된 통계 오차, 그리고 두 가지 판별자 근사 오차(간단한 경우와 어려운 경우).
• 리프시츠 제약 조건이 있는 ReLU 네트워크를 위한 유니버설 근사 정리를 적용하여 생성자 및 판별자 양측의 근사 오차를 제한한다.
• 집중 불등식과 로그 인자들을 조합하여 워샤프스키안-1 거리 기준 최종 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 워샤프스키안-1 거리와 같은 강한 이질성 척도 하에서, 헬더-스무쓰한 밀도를 가진 데이터 분포를 GANs가 일관된 방식으로 추정할 수 있는가?
• RQ2 일관된 분포 추정을 달성하기 위해 필요한 네트워크 아키텍처(깊이, 너비, 파라미터 수)는 무엇인가?
• RQ3 GANs가 고차원 데이터 분포 내 알려지지 않은 저차원 선형 구조를 효과적으로 포착할 수 있는가?
• RQ4 데이터가 또는 저차원 부분공간 근처에 존재할 경우, 환경 차원에 관계없이 GANs의 통계적 수렴 속도가 여전히 빠른가?
• RQ5 생성자 및 판별자의 근사 오차와 유한 샘플에서 비롯된 통계 오차가 함께 전체 추정 오차에 미치는 영향은 어떠한가?

주요 결과

• 적절히 설계된 깊이 있는 ReLU 생성자 및 판별자 네트워크를 갖춘 GANs는 워샤프스키안-1 거리 기준으로 데이터 분포의 일관된 추정자이다.
• 데이터 분포가 컴acts한 볼록 도메인 상에서 α-헬더-밀도를 가지며 0에 대해 유계이며, 워샤프스키안-1 척도 하에서 GANs는 통계적 수렴 속도 $\widetilde{O}(n^{-1/(2+q)})$ 를 달성한다.
• 내재된 저차원 선형 구조를 지닌 데이터의 경우, 수렴 속도는 $\widetilde{O}(n^{-1/(2+q)})$ 로서 환경 차원 d에 영향을 받지 않으며, 따라서 차원의 저주를 피한다.
• 전체 오차는 네 가지 구성요소로 분해된다: 생성자 근사 오차 $O(\epsilon_1)$, 통계 오차 $O(n^{-1/q}\log n + \frac{1}{\sqrt{n}}\sqrt{\bar{J}\bar{L}\log(\bar{L}\bar{p}\bar{\kappa}n)})$, 그리고 두 판별자 근사 오차 $O(\epsilon_2)$ 및 $O(\epsilon_2 + q^3\epsilon)$, 여기서 $\epsilon_1 = \epsilon_2 = n^{-1/(2+q)}$이다.
• 분석은 리프시츠 연속성 보장이 있는 ReLU 네트워크를 위한 새로운 유니버설 근사 이론에 의존하며, 이는 별도로도 관심 있는 주요 기여이다.
• 이론적 프레임워크는 일부 이전 접근 방식과 달리 생성자의 역함수 존재를 요구하지 않으며, 암묵적 가정에 의존하지 않고 명시적인 네트워크 아키텍처를 제시한다.