[論文レビュー] Concentration Inequalities for the Empirical Distribution

Jay Mardia, Jiantao Jiao+3 more|arXiv (Cornell University)|Sep 18, 2018

Markov Chains and Monte Carlo Methods参考文献 13被引用数 8

ひとこと要約

本稿では、離散的確率変数の経験分布と真の分布の間のKullback–Leibler（KL）発散度に対する、古典的なタイプ法よりも優れた集中不等式を、新しい再帰的技法を用いて開発する。この技法は、すべての標本サイズおよびアルファベットサイズで優位である。主な貢献は、KL発散度の分散に対するより鋭い上限を与えることであり、そのスケーリングは $ \min\left(\frac{6(\log k + 3)^2}{n}, C\frac{k}{n^2}\right)$ である。これは、特にアルファベットサイズ $k$ が大きい場合に非漸近的性能を顕著に向上させる。

ABSTRACT

We study concentration inequalities for the Kullback--Leibler (KL) divergence between the empirical distribution and the true distribution. Applying a recursion technique, we improve over the method of types bound uniformly in all regimes of sample size $n$ and alphabet size $k$, and the improvement becomes more significant when $k$ is large. We discuss the applications of our results in obtaining tighter concentration inequalities for $L_1$ deviations of the empirical distribution from the true distribution, and the difference between concentration around the expectation or zero. We also obtain asymptotically tight bounds on the variance of the KL divergence between the empirical and true distribution, and demonstrate their quantitatively different behaviors between small and large sample sizes compared to the alphabet size.

研究の動機と目的

• 標本サイズ $n$ がアルファベットサイズ $k$ より大きくない非漸近的領域におけるタイプ法の限界を克服すること。
• 離散分布における経験分布と真の分布の間のKL発散度に対する改善された集中不等式を導出すること。
• 小標本と大標本の両領域における異なる挙動を反映した、KL発散度の分散に対するより鋭い境界を提供すること。
• Pinskerの不等式を介して、改善されたKL集中境界を用いて、経験分布の $L_1$ 偏り境界をより鋭くすること。

提案手法

• $k$ 次元の問題をより小さい $k-1$ ケースに還元する再帰的手法を開発し、より鋭い分散境界を可能にする。
• 条件付き確率と積の法則を用いてKL発散度を分解し、そのモーメントを再帰的に制御する。
• モーメント計算と多項分布の性質を用いて分散境界を導出し、交差項に対しても明示的な制御を行う。
• 凸性と積分不等式（例：Jensenの不等式）を活用して、離散分布上の凸関数の和をバインドする。
• 特に2値および一般の $k$ 値の場合に、KL発散度の指数モーメントに対する解析的境界を計算する。
• ポisson化モデルにおける漸近的分散下界を確立し、導出された上界のタイトネスを確認する。

実験結果

リサーチクエスチョン

• RQ1 標本サイズ $n$ とアルファベットサイズ $k$ が同程度である、または $k$ が大きい非漸近的領域において、タイプ法のKL発散度境界をどのように改善できるか。
• RQ2 KL発散度の分散が $n$ と $k$ に依存する正しい非漸近的依存関係は何か。
• RQ3 改善されたKL境界を用いて、経験分布と真の分布の $L_1$ 偏りに対するより鋭い集中不等式を導出できるか。
• RQ4 標本サイズがアルファベットサイズに対して小さいか大きい場合に、KL発散度の分散の挙動はどのように異なるか。
• RQ5 導出されたKL発散度の分散境界は漸近的にタイトか。

主な発見

• 提案手法は、$n$ と $k$ のすべての領域においてタイプ法を一貫して上回り、$k$ が大きくなるほどその改善度が顕著になる。
• KL発散度の分散は $\min\left(\frac{6(\log k + 3)^2}{n}, C\frac{k}{n^2}\right)$ で抑えられ、これは $k$ が大きい領域でタイプ法よりも鋭い。
• 2値分布（$k=2$）の場合、$\mathbb{P}(D(\hat{P}_{n,2}\|P) \geq \epsilon) \leq 2e^{-n\epsilon}$ が確立され、タイプ法の $(n+1)e^{-n\epsilon}$ よりも改善されている。
• 漸近的分散下界として $\lim_{n\to\infty} 4n^2 \mathsf{Var}[D(\hat{P}_{n,k}\|P)] \geq 2(k-1)$ が示され、$k/n^2$ スケーリングがタイトであることが確認された。
• 本稿では、KL発散度の分散が小標本と大標本の領域で本質的に異なる挙動を示し、それぞれ異なるスケーリング則に従うことが示された。
• 導出された境界を用いてPinskerの不等式を介し、経験分布推定のためのより鋭い集中を実現した。