[논문 리뷰] Rates of convergence for density estimation with generative adversarial networks

Puchkin, Nikita, Samsonov, Sergey외 3명|arXiv (Cornell University)|2021. 01. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 8

한 줄 요약

이 논문은 순수한 생성적 적대 신경망(GAN)을 사용한 밀도 추정에 대해 비점점수 수렴 속도를 확립한다. 진실된 밀도와 GAN 추정치 사이의 셰이너-존슨-쇼르 분산(Jensen-Shannon divergence)이 $(\log n / n)^{2\beta/(2\beta + d)}$ 의 속도로 감소함을 증명하며, 부드러운 밀도에 대해 최소최대 최적 속도에 로그 인자까지 일치한다. 분석은 개선된 오라클 부등식에 기반하며, 소볼레프 유형의 부드러움 조건 하에서 통계적 최적성을 확립한다.

ABSTRACT

In this work we undertake a thorough study of the non-asymptotic properties of the vanilla generative adversarial networks (GANs). We prove an oracle inequality for the Jensen-Shannon (JS) divergence between the underlying density $\mathsf{p}^*$ and the GAN estimate with a significantly better statistical error term compared to the previously known results. The advantage of our bound becomes clear in application to nonparametric density estimation. We show that the JS-divergence between the GAN estimate and $\mathsf{p}^*$ decays as fast as $(\log{n}/n)^{2β/(2β+ d)}$, where $n$ is the sample size and $β$ determines the smoothness of $\mathsf{p}^*$. This rate of convergence coincides (up to logarithmic factors) with minimax optimal for the considered class of densities.

연구 동기 및 목표

• 순수한 GAN의 밀도 추정에 대한 비점점수 통계적 성질을 분석한다.
• 더 나은 오차 한계를 갖는 GAN에서 셰이너-존슨-쇼르 분산에 대한 정밀한 오라클 부등식을 확립한다.
• GAN 기반 밀도 추정자에 대한 수렴 속도를 유도하고, 최소최대 최적 속도와 비교한다.
• Sobolev 클래스에 속한 밀도에 대해 GAN 추정자가 최소최대 속도를 달성함을 보인다(로그 인자까지). 이 경우 부드러움 매개수는 $\beta$이다.

제안 방법

• 진실된 밀도 $\mathsf{p}^*$ 와 GAN 추정치 사이의 셰이너-존슨-쇼르 분산에 대한 오라클 부등식을 유도하며, 이전 연구보다 더 낫게 조정된 통계 오차 항을 갖는다.
• 생성자와 판별자 매개수에 대한 경험적 리스크 최소화를 통해 GAN의 최소최대 목표 함수 $L_n(w,\theta)$ 를 분석한다.
• 생성자 및 판별자 가족에 부드러움 조건을 도입하며, 이들이 소볼레프 유형의 클래스에 속하고 부드러움 매개수 $\beta$ 를 갖는다고 가정한다.
• 밀도 차이의 $L_2$-노름을 기반으로 한 하한값 구성 방법을 사용하여 최소최대 최적성을 확립한다.
• 캐시-슈바르츠 부등식과 농도 분석을 적용하여 $L_2$-위험과 알려진 부등식을 통해 JS-분산을 연결한다.
• JS-분산이 $L_2$-노름 제곱의 상수배로 아래에서 유계임을 이용하여, $L_2$-속도를 JS-분산으로 이전할 수 있다.

실험 결과

연구 질문

• RQ1 진실된 밀도와 GAN 추정치 사이의 셰이너-존슨-쇼르 분산의 비점점수 수렴 속도는 무엇인가?
• RQ2 부드러움 조건 하에서 GAN 추정자가 비모수적 밀도 추정에 대해 최소최대 최적 속도를 달성할 수 있는가?
• RQ3 GAN 목표 함수의 통계 오차는 밀도 추정의 최적 속도와 어떻게 비교되는가?
• RQ4 GAN에 대한 오라클 부등식이 최소최대 하한값에 대해 로그 인자까지 일치하는 속도를 제공하는가?
• RQ5 생성자 및 판별자의 부드러움이 최적 수렴 속도를 달성하는 데 어떤 역할을 하는가?

주요 결과

• 진실된 밀도 $\mathsf{p}^*$ 와 GAN 추정치 사이의 JS-분산은 $(\log n / n)^{2\beta/(2\beta + d)}$ 의 속도로 감소하며, 소볼레프 부드러움을 갖는 밀도에 대해 최소최대 최적 속도에 로그 인자까지 일치한다.
• 더 나은 통계 오차 항을 갖는 새로운 오라클 부등식을 GAN에 대해 확립하여 더 낫게 조정된 수렴 한계를 가능하게 한다.
• 이 수렴 속도는 동일한 부드러움 조건 하에서 어떤 밀도 추정자도 더 빠른 속도를 달성할 수 없음을 고려할 때 최소최대 최적이다.
• 하한값 구성은 임의의 추정자의 $L_2$-위험을 $C_d n^{-2\beta/(2\beta + d)}$ 이하로 제한함을 보여주며, 이는 속도의 정밀성을 확인한다.
• JS-분산은 $L_2$-노름 제곱의 상수배로 아래에서 유계이며, 이는 $L_2$-속도를 JS-분산으로 이전할 수 있게 한다.
• 판별자 가족이 충분히 rich하여 최적의 판별자를 근사할 수 있다면, 심지어 판별자 가족이 파arametric 가족으로 제한되어도 결과가 유지된다.