[論文レビュー] Concentration Inequalities for Multinoulli Random Variables

Jian Qian, Ronan Fruit+2 more|arXiv (Cornell University)|Jan 30, 2020

Bayesian Methods and Mixture Models参考文献 5被引用数 5

ひとこと要約

この論文は、多項分布の確率変数に関する広く引用されている集中不等式に挑戦し、経験的分布と真の分布との間の $\varepsilon$-偏差が、期待値において $O(\sqrt{S})$ のスケーリングを示し、高次元でもこの値のまわりにきわめて集中していることを示している。漸近的解析と直交変換によるガウス近似を用いて、AgrawalとJia (2017) が主張した次元に依存しない境界が、次元 $S$ の平方根に比例して増大するため、有効でないことを証明している。主な貢献は、一様性の下での多項分布の $\ell_1$-不一致に関する鋭い次元依存の集中不等式の確立である。

ABSTRACT

We investigate concentration inequalities for Dirichlet and Multinomial random variables.

研究の動機と目的

• 次元に依存しない集中不等式の有効性を調査すること、特に次元 $S$ に依存しない $\ell_1$-偏差境界を主張するものである。
• 一様な $p$ の下で、経験的分布と真の多項分布との差の $\ell_1$-ノルムの漸近的挙動を分析すること。
• 最大偏差 $Z_n = \max_v (\widehat{p}_n - p)^T v$ が次元 $S$ に依存しない値のまわりに集中するかどうかを特定すること。
• 次元 $S$ に真の依存関係を反映した $Z_n$ の鋭い集中不等式を厳密に導出すること。

提案手法

• $n \to \infty$ のとき $\sqrt{n} Z_n$ の極限分布を特徴づけるために関数中心極限定理を用い、切断されたガウスベクトルへの収束を示している。
• 極限ガウスベクトル $Y$ の成分を非相関化するために直交変換 $U$ を適用し、最初の $S-1$ 成分が i.i.d. 標準正規分布に従うベクトル $W$ に変換している。
• 制限された $Z_S$ を表すために $1$-リプシッツ関数 $g(W) = \frac{1}{\sqrt{S}} e_S^T (U^T W)^+$ を定義し、ガウス集中の解析を可能にしている。
• ガウス集中不等式（Wainwright, 2017）を用いて $Z_S$ の下側尾部バウンドを導出し、すべての分位数が $O(\sqrt{S})$ のスケーリングを示している。
• 正確な漸近的期待値 $\mathbb{E}[Z_S] = \sqrt{\frac{S-1}{2\pi}}$ を導出し、$\sqrt{S}$ スケーリングを確認している。
• $\|\widehat{p}_n - p\|_1 = \frac{2}{D} Z_n$ であることに着目して、結果を $\ell_1$-ノルムの経験的偏差に戻している。

実験結果

リサーチクエスチョン

• RQ1 AgrawalとJia (2017) が提唱した集中不等式 $\mathbb{P}(\|\widehat{p}_n - p\|_1 \geq \sqrt{2 \ln(1/\delta)/n}) \leq \delta$ が、すべての $\delta \in (0,1)$ に対して多項分布に有効であるか。
• RQ2 経験的分布と真の多項分布との間の $\ell_1$-不一致が次元 $S$ に依存せずにスケーリングするか。
• RQ3 一様な $p$ の下で、$\mathbb{E}[\|\widehat{p}_n - p\|_1]$ の漸近的挙動は $n \to \infty$ のときどうなるか。
• RQ4 高次元における $Z_n = \max_v (\widehat{p}_n - p)^T v$ の集中が正確に特徴付けられるか。

主な発見

• $Z_S = \lim_{n \to \infty} \sqrt{n} Z_n$ の期待値は $\sqrt{\frac{S-1}{2\pi}}$ のスケーリングを示し、次元 $S$ に $O(\sqrt{S})$ の依存関係があることを確認している。
• 極限確率変数 $Z_S$ はその平均のまわりにきわめて集中しており、高確率で平均から $O(\sqrt{\log(1/\delta)})$ の範囲内にある。
• 本論文では $\mathbb{P}\left(Z_S \geq \sqrt{\frac{2(S-1)}{\pi}} - \sqrt{2 \log(2/\delta)} \right) \geq 1 - \delta$ を証明しており、すべての分位数が $O(\sqrt{S})$ に比例して増大することを示している。
• AgrawalとJia (2017) の不等式は、偏差の $\sqrt{S}$ スケーリングを考慮していないため、無効である。一様な $p$ の下ではこれは避けられない。
• $\ell_1$-ノルムの経験的偏差 $\|\widehat{p}_n - p\|_1$ は期待値において $\Theta(\sqrt{S/n})$ に比例するが、次元に依存しない境界で主張される $O(1/\sqrt{n})$ ではない。
• 解析により、多項分布の $\ell_1$-偏差に関する次元に依存しない集中不等式は一般には成立せず、特に一様な $p$ の下では成立しないことが確認された。