[논문 리뷰] Rényi divergence and the central limit theorem

Sergey G. Bobkov, G. P. Chistyakov외 1명|arXiv (Cornell University)|2016. 08. 05.

Statistical Mechanics and Entropy참고 문헌 26인용 수 6

한 줄 요약

이 논문은 레니 지수를 사용하여 중심극한정리에서 정규분포 수렴에 대한 필요 및 충분 조건을 수립한다. 특히 카이제곱 지수에 초점을 맞추고 있다. 카이제곱 지수에서 정규분포로의 수렴이 일어나기 위한 조건은 i.i.d. 합성항의 라플라스 변환이 모든 $t \neq 0$ 에 대해 $\mathbb{E}[e^{tX}] < e^{t^2}$ 를 만족할 때이고, 이는 카이제곱 지수에서 수렴 속도의 정확한 비율을 에지워스 유형 전개를 통해 도출한다.

ABSTRACT

We explore properties of the $χ^2$ and more general Rényi (Tsallis) distances to the normal law. In particular we provide necessary and sufficient conditions for the convergence to the normal law in the central limit theorem using these distances. Moreover, we derive exact rates of convergence in these distances with respect to an increasing number of summands.

연구 동기 및 목표

• 정규분포에 대한 수렴 영역을 카이제곱 지수 기준으로 특성화하기.
• 레니 지수 기준으로 정규분포로의 정규화된 합의 수렴에 대한 필요 및 충분 조건을 수립하기.
• i.i.d. 합성항에 대해 카이제곱 및 더 일반적인 레니 지수에서의 수렴 속도의 정확한 비율을 도출하기.
• 강한 지수(예: 카이제곱 지수) 하에서 수렴을 보장하는 라플라스 변환 조건의 역할 분석하기.
• 로그-소볼레프 및 운반-엔트로피 부등식을 사용하여 다변량 설정으로 결과 확장하기.

제안 방법

• 저자들은 기저 분포의 라플라스 변환을 사용하여 카이제곱 지수 수렴에 대한 필요 및 충분 조건을 유도한다.
• 에지워스 유형 전개를 활용하여 카이제곱 지수의 수렴 속도의 정확한 渐近 비율을 도출한다.
• 밀도의 에르미트 다항식 및 지수 급수 표현을 기반으로 하여 폴린의 이전 작업을 확장한다.
• 다변량의 경우, 헤시안 하한 조건 하에서 Bakry-Emery 기준을 적용하여 로그-소볼레프 부등식을 수립한다.
• 혼합 베르누이 및 가우시안 변수를 사용한 반례를 구성하여, 점별 라플라스 변환 지배성이 수렴을 보장하지 못함을 보여준다.
• 서브가우시안 상수 및 모멘트 생성 함수의 경계를 사용하여 라플라스 변환 부등식 조건을 검증한다.

실험 결과

연구 질문

• RQ1 정규화된 합과 표준정규분포 사이의 카이제곱 지수가 0으로 수렴하기 위한 필요 및 충분 조건은 무엇인가?
• RQ2 합성항의 라플라스 변환 성질이 레니 지수에서의 수렴에 어떤 영향을 미치는가?
• RQ3 i.i.d. 합성항에 대해 카이제곱 지수에서의 정확한 수렴 속도를 도출할 수 있는가?
• RQ4 서브가우시안 성질과 로그-소볼레프 부등식이 레니 지수에서 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ5 모든 $t \neq 0$ 에 대해 엄격한 라플라스 변환 부등식 $\mathbb{E}[e^{tX}] < e^{t^2}$ 가 카이제곱 수렴을 위해 필수적인가?

주요 결과

• 모든 $n \to \infty$ 에 대해 $\chi^2(Z_n, Z) \to 0$ 이 되기 위한 조건은 어떤 $n_0$ 에 대해 $\chi^2(Z_n, Z)$ 가 유한하고, 모든 $t \neq 0$ 에 대해 $\mathbb{E}[e^{tX}] < e^{t^2}$ 를 만족할 때이다.
• 논문은 $\chi^2(Z_n, Z)$ 에 대해 에지워스 유형 전개를 제공하여 수렴 속도의 정확한 渐近 비율을 도출한다.
• 밀도 $p = e^{-V}$ 와 $V'' \geq c\,\mathrm{I}_d$ 를 만족하는 분포에 대해, $\alpha < \frac{1}{1-c}$ 일 때 레니 지수 $D_\alpha$ 에서 수렴이 성립한다.
• 모든 $t \neq 0$ 에 대해 $\mathbb{E}[e^{tX}] < e^{t^2}$ 를 만족하지만, 한 점을 제외한 경우에 대해 수렴이 성립하지 않는 반례를 구성하여 조건의 엄격함을 증명한다.
• 조건 $\mathbb{E}[e^{tX}] < e^{t^2}$ 는 날카롭게 설정되어 있으며, 약한 부등식이나 점별 등식으로 약화시킬 수 없다.
• 베르누이 및 가우시안 변수의 혼합 분포에 대해, 조건 $\frac{p-q}{2(\log p - \log q)} > 2pq$ 가 성립하면 라플라스 변환 부등식이 한 점에서 실패하여 수렴이 불가능하다.