[논문 리뷰] Rates of convergence for nonparametric estimation of singular distributions using generative adversarial networks

Lee, Jeyong, Kwon, Hyeok Kyu외 1명|arXiv (Cornell University)|2022. 02. 07.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 저차원 다양체 위에 집중된 특이 분포의 비모수적 추정에서 생성적 적대 신경망(GAN)의 수렴 속도를 확립한다. 추가적인 가우시안 노이즈를 가진 딥 생성 모델 하에서, 워샤르슈타인-1 거리에서 GAN 추정기의 수렴 속도를 유도하며, 이는 내재 차원, 부드러움 정도 및 노이즈 수준에만 의존함을 보여주며, 우도 기반 방법보다 우수하고 최소최대 최적 속도에 가까운 성능을 보인다.

ABSTRACT

It is common in nonparametric estimation problems to impose a certain low-dimensional structure on the unknown parameter to avoid the curse of dimensionality. This paper considers a nonparametric distribution estimation problem with a structural assumption under which the target distribution is allowed to be singular with respect to the Lebesgue measure. In particular, we investigate the use of generative adversarial networks (GANs) for estimating the unknown distribution and obtain a convergence rate with respect to the $L^1$-Wasserstein metric. The convergence rate depends only on the underlying structure and noise level. More interestingly, under the same structural assumption, the convergence rate of GAN is strictly faster than the known rate of VAE in the literature. We also obtain a lower bound for the minimax optimal rate, which is conjectured to be sharp at least in some special cases. Although our upper and lower bounds for the minimax optimal rate do not match, the difference is not significant.

연구 동기 및 목표

• 저차원 다양체 위에 집중된 특이 분포에 대한 GAN 기반 추정기의 통계적 수렴 속도를 분석하는 것.
• 비모수적 분포 추정에서 GAN과 우도 기반 방법(예: 변분 오토에인코더)의 성능을 비교하는 것.
• 워샤르슈타인-1 거리에서 추정 오차에 대한 최소최대 하한을 유도하여 최적성의 정도를 평가하는 것.
• 훈련 불안정성에도 불구하고 실세계 응용에서 GAN의 경험적 성공에 대한 이론적 근거를 제공하는 것.
• 내재 차원, 부드러움 정도 및 노이즈 수준이 추정 효율성에 미치는 영향을 조사하는 것.

제안 방법

• 데이터를 비선형 요인 모형으로 모델링: $\mathbf{X}_i = \mathbf{g}_0(\mathbf{Z}_i) + \boldsymbol{\epsilon}_i$, 여기서 $\mathbf{Z}_i \sim P_Z$ 는 $[0,1]^d$ 위에 있고 $\boldsymbol{\epsilon}_i \sim \mathcal{N}(\mathbf{0}_D, \sigma_0^2 \mathbf{I}_D)$ 이다.
• 진정한 데이터 생성 분포 $P_0 = Q_{\mathbf{g}_0} * \mathcal{N}(\mathbf{0}_D, \sigma_0^2 \mathbf{I}_D)$ 를 가정하며, $Q_{\mathbf{g}_0}$ 는 르베그 측도에 대해 특이하다.
• 워샤르슈타인-1 거리 $W_1(\hat{Q}, Q_0)$ 를 통해 추정된 및 진정한 푸시포워드 측도 간의 GAN 추정기 분석.
• 수렴 속도에 대한 상한을 도출: $n^{-\frac{\beta}{2\beta + d - 2}}$ 는 허더-부드러운 생성자 $\mathbf{g}_0 \in \mathcal{H}_K^\beta([0,1]^d)^D$ 에 대해, 부드러움 정도 $\beta$, 내재 차원 $d$, 표본 크기 $n$ 에 따라 달라진다.
• 판노의 부등식을 적용하여 최소최대 하한을 유도: $\mathfrak{M}(\mathcal{G}_0, \sigma_0) \gtrsim n^{-\frac{\beta}{2\beta + d - 2}}$, $\sigma_0$ 와 무관하게 성립한다.
• 생성 모델을 최적 운반 이론과 연결하며, $\beta$-허더 생성자는 브레니에 지도 하에서 $\beta-1$-허더 밀도에 대응함을 보여주며, 수렴 속도 최적성에 대한 추측을 뒷받침한다.

(a) $\phi(z)$

실험 결과

연구 질문

• RQ1 저차원 다양체 위에 집중된 특이 분포에 대한 GAN 기반 추정기의 수렴 속도는 무엇인가?
• RQ2 GAN의 수렴 속도는 변분 오토에인코더와 같은 우도 기반 방법의 수렴 속도와 어떻게 비교되는가?
• RQ3 워샤르슈타인-1 거리 하에서 이러한 특이 분포를 추정할 때의 최소최대 최적 속도는 무엇인가?
• RQ4 GAN 추정기는 최소최대 하한에 도달할 수 있으며, 이를 달성하기 위한 조건은 무엇인가?
• RQ5 내재 차원, 생성자의 부드러움 정도, 노이즈 수준은 추정 속도에 어떻게 영향을 미치는가?

주요 결과

• GAN 추정기는 워샤르슈타인-1 거리 하에서 $n^{-\frac{\beta}{2\beta + d - 2}}$ 의 수렴 속도를 달성하며, 이는 부드러움 정도 $\beta$, 내재 차원 $d$, 표본 크기 $n$ 에만 의존한다.
• 이 속도는 우도 기반 방법의 수렴 속도보다 빠르며, 실세계 응용에서 GAN의 경험적 우수성에 대한 이론적 설명을 제공한다.
• 최소최대 하한 $\mathfrak{M}(\mathcal{G}_0, \sigma_0) \gtrsim n^{-\frac{\beta}{2\beta + d - 2}}$ 이 확립되어, GAN의 수렴 속도가 거의 최적임을 보여준다.
• 이 하한은 노이즈 수준 $\sigma_0$ 와 무관하므로, 수렴 속도는 기저의 다양체의 구조와 부드러움 정도에 의해 결정됨을 시사한다.
• 최적성 하한이 날카롭고 향상될 수 없으며, 최적 운반 이론 및 밀도 추정 분야의 이전 결과와의 연결을 바탕으로 이에 대한 추측을 제기한다.
• 이론적 프레임워크는 브레니에 지도를 통해 생성 모델과 최적 운반 이론을 연결하며, $\beta$-허더 생성자는 $\beta-1$-허더 밀도에 대응함을 보여주며, 두 설정 간의 수렴 속도 동등성에 대한 근거를 제공한다.

(b) $\phi^{\prime}(z)$