[논문 리뷰] Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses

Ananya Uppal, Shashank Singh외 1명|arXiv (Cornell University)|2019. 02. 09.

Statistical Methods and Inference인용 수 9

한 줄 요약

이 논문은 Lp, 총변동, 워샤르슈타인, 코모고로프-스미르노프 거리 등을 통합하는 베소프 적분확률거리(IPS)에서 비모수 밀도 추정에 대한 최소최대 수렴 속도를 확립한다. ReLU 신경망을 사용하는 GAN이 베소프 분포를 학습함으로써 선형 추정기인 커널 밀도나 경험 분포보다 우월한 성능을 보이며, 비균일한 부드러움 조건 하에서도 최적의 속도를 달성함을 보여준다.

ABSTRACT

We study the problem of estimating a nonparametric probability density under a large family of losses called Besov IPMs, which include, for example, $\mathcal{L}^p$ distances, total variation distance, and generalizations of both Wasserstein and Kolmogorov-Smirnov distances. For a wide variety of settings, we provide both lower and upper bounds, identifying precisely how the choice of loss function and assumptions on the data interact to determine the minimax optimal convergence rate. We also show that linear distribution estimates, such as the empirical distribution or kernel density estimator, often fail to converge at the optimal rate. Our bounds generalize, unify, or improve several recent and classical results. Moreover, IPMs can be used to formalize a statistical model of generative adversarial networks (GANs). Thus, we show how our results imply bounds on the statistical error of a GAN, showing, for example, that GANs can strictly outperform the best linear estimator.

연구 동기 및 목표

• Lp, 총변동, 워샤르슈타인 거리 등을 포함한 광범위한 IPM 손실 클래스에 대해 비모수 밀도 추정의 수렴 속도 경계를 통합하고 일반화하는 것.
• GAN의 통계적 프레임워크를 IPM 최소화로 공식화하여, GAN 학습이 베소프 부드러움 조건 하에서 분포 추정과 연결되도록 하는 것.
• ReLU 네트워크를 사용하는 GAN이 베소프 밀도를 추정할 때 최소최대 최적 속도를 달성할 수 있음을 보여주는 것.
• 손실 함수의 부드러움, 데이터의 규칙성, 추정 오차 간의 상호작용을 특징짓는 날카운 최소최대 하한 및 상한을 도출하는 것.

제안 방법

• 밀도와 IPM 쌍대를 웨이블릿 계수의 형태로 표현하기 위해 다중해상도 분석(MRA)과 웨이블릿 분해를 사용한다.
• 베소프 노름에서 편향-분산 분해를 통해 최소최대 위험을 분석하여 편향, 분산, 근사 오차 기여도를 구분한다.
• 스토캐스틱 항을 제어하기 위해 대규모 탈진 및 모멘트 경계를 적용한다.
• 수지의 최근 결과(ReLU 네트워크가 베소프 함수를 근사하는 데 사용)를 활용하여 생성기 및 판별기의 근사 오차를 경계한다.
• 정규화된 경험 분포(ePn)를 사용한 경험 IPM 최소화 문제의 해로 GAN 추정기를 구성함으로써, GAN을 분포 추정으로 공식화한다.
• IPM 위험 분해에서 편향(부드러움에 기인), 분산(표본 크기에 기인), 근사 오차(네트워크 용량에 기인)를 균형 잡는 방식으로 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 Lp 및 워샤르슈타인 거리 등을 포함한 광범위한 IPM 손실 클래스에서 비모수 밀도 추정의 최소최대 최적 수렴 속도는 무엇인가?
• RQ2 진짜 밀도의 부드러움 매개변수(σg, pg, qg)와 손실 함수의 부드러움 매개변수(σd, pd, qd)가 함께 최적의 추정 속도에 어떤 영향을 미치는가?
• RQ3 ReLU 네트워크를 사용하는 GAN이 베소프 밀도를 추정할 때 최소최대 최적 속도를 달성할 수 있는가? 만약 가능하면, 네트워크의 폭/깊이 조건은 무엇인가?
• RQ4 왜 커널 밀도나 경험 분포와 같은 선형 추정기는 비균일한 부드러움 조건 하에서 최적 속도를 달성하지 못하는가?
• RQ5 GAN 학습에서 정규화된 경험 분포(ePn)를 사용할 경우, 표준 경험 분포보다 통계적 성능이 향상되는 이유는 무엇인가?

주요 결과

• 베소프 IPM에서 진짜 밀도를 추정할 때 최소최대 수렴 속도는 Θ(n^{-σg/(2σg+D)})이며, 이는 진짜 밀도의 부드러움 σg 와 차원 D 에 의존한다.
• 진짜 밀도가 비균일한 부드러움을 가질 경우(예: σg < D/pg), 커널 밀도나 경험 분포와 같은 선형 추정기는 최적의 속도를 달성하지 못하며, 이는 최적의 편향-분산 트레이드오프를 이루지 못하기 때문이다.
• GAN은 생성기와 판별기의 근사 오차, 통계 오차, 일반화 오차를 동시에 최소화함으로써 최소최대 최적 속도를 달성할 수 있다.
• 생성기 네트워크의 폭 Wg ≲ ϵ^{-D/σg} 와 깊이 Hg ≲ log(1/ϵ) 조건을 만족할 경우 최적의 속도가 달성되며, 이는 판별기의 경우에도 유사한 척도가 적용된다.
• GAN의 통계 오차는 dFd(bp, p) ≲ ϵ + dFd(epn, p) 로 경계되며, 이는 GAN이 최적의 정규화된 경험 추정기의 오차를 따라잡으면서도 더 우수한 근사 성능을 달성할 수 있음을 보여준다.
• 최소최대 위험에 대해 n^{-(σg+σd−D/pg+D/p′d)/(2σg−2D/pg+2D/p′d+D)} 의 하한을 확립하였으며, 이는 로그 인자 외에는 상한과 일치하여 속도의 최적성을 확인한다.