[論文レビュー] Concentration of quadratic forms under a Bernstein moment assumption

Pierre Bellec|arXiv (Cornell University)|Jan 25, 2019

Analytic Number Theory Research参考文献 7被引用数 13

ひとこと要約

本稿では、成分の2次モーメントにベルシュタイン型のモーメント条件を課した下で、独立なサブギャウシアン確率変数の二次形式に対するより鋭い集中不等式を確立する。ベルシュタイン条件を仮定することで、ハンソン＝ワリート不等式の分散項が $K^2\|A\|_{\mathrm{F}}\sqrt{x}$ から $8\sqrt{3}K\|AD_\sigma\|_{\mathrm{F}}\sqrt{x}$ に改善され、この仮定の下でよりタイトな尾部バウンドが得られる。

ABSTRACT

A concentration result for quadratic form of independent subgaussian random variables is derived. If the moments of the random variables satisfy a "Bernstein condition", then the variance term of the Hanson-Wright inequality can be improved. The Bernstein condition is satisfied, for instance, by all log-concave subgaussian distributions.

研究の動機と目的

• サブギャウシアン確率変数の二次形式に対するハンソン＝ワリート不等式の分散項を改善すること。
• 成分の2次モーメントにベルシュタイン型のモーメント条件を課した下で、より鋭い集中バウンドを確立すること。
• このモーメント条件の下で、分散項が $\|A\|_{\mathrm{F}}$ ではなく $\|AD_\sigma\|_{\mathrm{F}}$ に依存することを示し、それによりよりタイトな尾部バウンドが得られることを示すこと。
• 成分のモーメントが軽尾的であるような状況において、古典的なハンソン＝ワリートバウンドを上回るより洗練された集中不等式を提供すること。

提案手法

• 解析は、行列 $A$ の対角成分と非対角成分を分離するための二次形式のデカップリング不等式に依存する。
• 証明は、$\mathbb{E}|\xi_i|^{2p}$ におけるベルシュタイン条件から導かれるモーメント生成関数のバウンドに依存し、$K^2$ と $\sigma_i^2$ を用いて高階モーメントを制御する。
• 主な不等式として、$\mathbb{E}\exp(s\xi_i) \leq \exp(s^2K^2)$ および $0 \leq 2sK^2 \leq 1$ の下で $\mathbb{E}\exp(s\xi_i^2 - s\sigma_i^2) \leq \exp(s^2\sigma_i^2K^2)$ が含まれる。
• 尾部挙動を対角部と非対角部それぞれ別々に分析し、その後ユニオンバウンドを用いて結合することで、集中バウンドを導出する。
• 尾部確率バウンドを $x$ の高確率の偏差不等式に変換するために変数変換が用いられる。
• 最終的なバウンドは $\mathbb{P}(\xi^T A \xi - \mathbb{E}[\xi^T A \xi] > t) \leq \exp\left(-\min\left(\frac{t^2}{192K^2\|AD_\sigma\|_{\mathrm{F}}^2}, \frac{t}{256K^2\|A\|_2}\right)\right)$ として表される。

実験結果

リサーチクエスチョン

• RQ1 サブギャウシアン成分のモーメントに弱い条件を課した下で、ハンソン＝ワリート不等式の分散項を改善できるか？
• RQ2 $\xi_i^2$ のモーメントにベルシュタイン型の条件が成り立つ場合、標準のハンソン＝ワリートバウンドよりも二次形式の集中がタイトになるか？
• RQ3 スケーリングとタイトさの観点から、改善された分散項 $\|AD_\sigma\|_{\mathrm{F}}$ と $\|A\|_{\mathrm{F}}$ との比較はどのようになるか？
• RQ4 ベルシュタイン条件の下で、集中バウンドが行列 $A$ およびサブギャウシアンパラメータ $K$ に対して最適に依存する関係は何か？

主な発見

• ベルシュタインモーメント条件 $\mathbb{E}|\xi_i|^{2p} \leq \frac{1}{2}p!\sigma_i^2K^{2(p-1)}$ の下で、ハンソン＝ワリート不等式の分散項は $K^2\|A\|_{\mathrm{F}}\sqrt{x}$ から $8\sqrt{3}K\|AD_\sigma\|_{\mathrm{F}}\sqrt{x}$ に改善される。
• 集中バウンドは $\mathbb{P}(\xi^T A \xi - \mathbb{E}[\xi^T A \xi] > t) \leq \exp\left(-\min\left(\frac{t^2}{192K^2\|AD_\sigma\|_{\mathrm{F}}^2}, \frac{t}{256K^2\|A\|_2}\right)\right)$ として与えられる。
• 小さな逸脱 $t$ の場合、バウンドは $\exp\left(-\frac{t^2}{192K^2\|AD_\sigma\|_{\mathrm{F}}^2}\right)$ と振る舞い、$\|AD_\sigma\|_{\mathrm{F}} \ll K\|A\|_{\mathrm{F}}$ のとき、古典的ハンソン＝ワリートバウンド $\exp\left(-c\frac{t^2}{K^4\|A\|_{\mathrm{F}}^2}\right)$ よりもタイトになる。
• この結果は、有界確率変数や分散が $K^2$ で有界なサブギャウシアン変数、および対数コンカベ分布の二乗を含む、ベルシュタイン条件を満たす確率変数に適用可能である。
• モーメント生成関数のバウンド $\mathbb{E}\exp(s\xi_i) \leq \exp(s^2K^2)$ および $\mathbb{E}\exp(s\xi_i^2 - s\sigma_i^2) \leq \exp(s^2\sigma_i^2K^2)$ が導出され、主要な技術的道具として用いられる。
• $\|AD_\sigma\|_{\mathrm{F}} \ll \|A\|_{\mathrm{F}}$ の状況では、改善されたバウンドは古典的なハンソン＝ワリート不等式よりも厳密に鋭くなる。これは、分散 $\sigma_i^2$ が行列の要素に対して小さい場合に発生する。