[論文レビュー] Rényi divergence and the central limit theorem

Sergey G. Bobkov, G. P. Chistyakov+1 more|arXiv (Cornell University)|Aug 5, 2016

Statistical Mechanics and Entropy参考文献 26被引用数 6

ひとこと要約

本稿は、Rényi散発を用いて中心極限定理における正規分布への収束の必要十分条件を確立し、特にカイ二乗散発に注目している。カイ二乗散発がゼロに収束するための必要十分条件として、同分布の和のLaplace変換がすべての $ t \neq 0 $ に対して $ \mathbb{E}[e^{tX}] < e^{t^2} $ を満たすことであることを証明し、Edgeworth型展開を用いて収束の正確な速度を導出している。

ABSTRACT

We explore properties of the $χ^2$ and more general Rényi (Tsallis) distances to the normal law. In particular we provide necessary and sufficient conditions for the convergence to the normal law in the central limit theorem using these distances. Moreover, we derive exact rates of convergence in these distances with respect to an increasing number of summands.

研究の動機と目的

• 正規分布への吸引域をカイ二乗散発の観点から特徴付けること。
• Rényi散発の観点から、正規化された和が正規分布に収束するための必要十分条件を確立すること。
• i.i.d. 和のカイ二乗散発およびより一般的なRényi散発における収束の正確な速度を導出すること。
• 強い散発（例：カイ二乗散発）の下で収束を保証するLaplace変換条件の役割を分析すること。
• Hessianの下界に基づくlog-Sobolev不等式とtransport-entropy不等式を用いて、多変量設定への拡張を行うこと。

提案手法

• 著者らは、元の分布のLaplace変換を用いて、カイ二乗散発収束の必要十分条件を導出している。
• Edgeworth型展開を用いて、カイ二乗散発の収束の正確な漸近的速度を導出している。
• 密度関数のHermite多項式および指数級数による表現を用い、Fominの先行研究を拡張している。
• 多変量の場合には、Hessianの下界の下でBakry-Emery基準を適用し、対数Sobolev不等式を確立している。
• BernoulliおよびGaussian分布の混合を用いた反例を構築し、点ごとのLaplace変換支配が収束を保証しないことを示している。
• subgaussian定数およびモーメント母関数のバウンドを用いて、Laplace変換不等式の条件を検証している。

実験結果

リサーチクエスチョン

• RQ1 正規化された和と標準正規分布との間のカイ二乗散発がゼロに収束するための必要十分条件は何か？
• RQ2 和の項のLaplace変換の性質は、Rényi散発における収束にどのように影響を与えるか？
• RQ3 i.i.d. 和のカイ二乗散発について、収束の正確な速度を導出できるか？
• RQ4 subgaussian性およびlog-Sobolev不等式は、Rényi散発の下で収束を保証するために果たす役割は何か？
• RQ5 すべての $ t \neq 0 $ に対して $ \mathbb{E}[e^{tX}] < e^{t^2} $ である厳密なLaplace変換不等式は、カイ二乗収束にとって必須であるか？

主な発見

• すべての $ n \to \infty $ に対して $ \chi^2(Z_n, Z) \to 0 $ であるための必要十分条件は、ある $ n_0 $ に対して $ \chi^2(Z_n, Z) $ が有限であり、かつすべての $ t \neq 0 $ に対して $ \mathbb{E}[e^{tX}] < e^{t^2} $ が成り立つことである。
• 本稿では $ \chi^2(Z_n, Z) $ についてEdgeworth型展開を提供し、収束の正確な漸近的速度を明らかにしている。
• 密度関数 $ p = e^{-V} $ かつ $ V'' \geq c\,\mathrm{I}_d $ を満たす分布に対して、Rényi散発 $ D_\alpha $ は $ \alpha < \frac{1}{1-c} $ のとき収束する。
• すべての $ t \neq 0 $ に対して $ \mathbb{E}[e^{tX}] < e^{t^2} $ を満たすが、一点を除いて成り立つ分布の反例を構築し、$ \chi^2(Z_n, Z) \not\to 0 $ であることを示しており、条件の厳密性を証明している。
• 条件 $ \mathbb{E}[e^{tX}] < e^{t^2} $ は鋭く、弱不等式や点での等式に緩和することはできない。
• BernoulliおよびGaussian分布の混合に対して、$ \frac{p-q}{2(\log p - \log q)} > 2pq $ が成り立つと、Laplace変換不等式が一点で失敗し、収束が妨げられる。