[論文レビュー] Large ball probability, Gaussian comparison and anti-concentration

Friedrich Götze, Alexey Naumov+2 more|arXiv (Cornell University)|Aug 29, 2017

Statistical Methods and Inference参考文献 13被引用数 5

ひとこと要約

本稿は、ヒルベルト空間内の2つのガウス分布が球に含まれる確率のコルモゴロフ距離について、共分散作用素の差の核ノルム（シュレーディンガー1ノルム）および平均シフトのノルムにのみ依存する次元に依存しない境界を確立する。主な貢献は、非中心ガウス要素の二乗ノルムに関する鋭い非漸近的反集中不等式であり、逆固有値ではなく作用素ノルムに明示的な依存関係を持つことで、古典的境界を著しく改善する。

ABSTRACT

We derive tight non-asymptotic bounds for the Kolmogorov distance between the probabilities of two Gaussian elements to hit a ball in a Hilbert space. The key property of these bounds is that they are dimension-free and depend on the nuclear (Schatten-one) norm of the difference between the covariance operators of the elements and on the norm of the mean shift. The obtained bounds significantly improve the bound based on Pinsker's inequality via the Kullback-Leibler divergence. We also establish an anti-concentration bound for a squared norm of a non-centered Gaussian element in Hilbert space. The paper presents a number of examples motivating our results and applications of the obtained bounds to statistical inference and to high-dimensional CLT.

研究の動機と目的

• ヒルベルト空間内の2つのガウス要素が球に含まれる確率のコルモゴロフ距離に対するタイトで非漸近的な境界を導出すること。
• ヒルベルト空間内での非中心ガウス要素の二乗ノルムに関する次元に依存しない反集中境界を構築すること。
• 共分散作用素の逆行列に依存する既存の境界（ピンスカーの不等式に基づくもの）を改善すること。特に、小さな固有値に対して敏感である点を是正する。
• すべての可測集合ではなく球確率に注目することで、ブートストラップの妥当性やベイズ解析などに応用可能なツールを提供すること。
• 共分散の差の核ノルムと平均シフトのノルムにのみ依存する境界を確立し、共分散作用素の全スペクトルに依存しないようにすること。

提案手法

• 本手法は、ヒルベルト空間内に零平均のガウス分布を持つ $\boldsymbol{\xi}$ と $\boldsymbol{a} \in \mathbb{H}$ に対して、$\|\boldsymbol{\xi} - \boldsymbol{a}\|^2$ の密度関数に対する鋭い上界に依存する。
• 密度を非心 $\chi^2$ 分布の重み付き和として表現するが、測度の特殊な性質を必要としないより明確で一様な上界を導出する。
• 主な結果は、定理 \ref{l:_density_est_2} を用いて得られ、ガウスベクトルの二乗ノルムの密度に対する非一様および一様な上界を提供する。
• 上界は、核ノルム $\|\Sigma - \Sigma^\flat\|_1$ およびフロベニウスノルム $\|\Sigma\|_{\operatorname{Fr}}$ で表現され、$\Sigma^{-1}$ の必要性を回避する。
• このアプローチにより、$\mathcal{N}(\boldsymbol{a}, \Sigma)$ と $\mathcal{N}(0, \Sigma^\flat)$ を比較し、高次元設定における球確率の改善された境界を得る。
• ブートストラップ推論や線形ガウスモデルへの応用を通じて、Kullback-Leibler 散発に基づく古典的手法よりも優れた性能を示す。

実験結果

リサーチクエスチョン

• RQ1 ヒルベルト空間内の2つのガウスベクトルが球に含まれる確率のコルモゴロフ距離を、次元に依存せずにどのように境界づけられるか？
• RQ2 無限次元ヒルベルト空間内での非中心ガウスベクトルの二乗ノルムの反集中を最適にどのように定量化できるか？
• RQ3 $\Sigma^{-1}$ を避けることで、特に固有値が小さい場合に球確率の境界を改善できるか？
• RQ4 ブートストラップ妥当性やベイズ推論などの統計的設定において、これらの新しい境界は既存手法に比べて顕著な改善をもたらすか？
• RQ5 共分散の差の核ノルムと平均シフトのノルムが、球確率の乖離をどのように共同で制御するか？

主な発見

• 本稿は、球に制限された2つのガウス測度間のコルモゴロフ距離に対する次元に依存しない境界を導出し、$\|\Sigma - \Sigma^\flat\|_1$ および $\|\boldsymbol{a}\|^2$ のみに依存する。これにより、$\Sigma^{-1}$ に起因する悪条件化を回避する。
• ピンスカーの不等式を改善し、$\|\Sigma^{-1/2}(\Sigma^\flat - \Sigma)\Sigma^{-1/2}\|_{\operatorname{Fr}}$ を $\|\Sigma - \Sigma^\flat\|_1 / \|\Sigma\|_{\operatorname{Fr}}$ に置き換えることで、小さな固有値に対する感度を著しく低減する。
• 非中心ガウス要素 $\|\boldsymbol{\xi} + \boldsymbol{a}\|^2$ の反集中に対して、古典的なカイ二乗分布の結果を精緻化する鋭い境界を提供する。特に、高次元または悪条件の設定で顕著な改善を示す。
• ブートストラップ妥当性の文脈では、モデル化バイアスの条件を $\|\Sigma^{-1/2}\boldsymbol{a}\|$ から $\|\boldsymbol{a}\|^2$ に改善し、$\Sigma$ に小さな固有値がある場合に著しく小さい値となる可能性がある。
• 全変動ではなく球確率に注目することで、高次元中心極限定理や統計的推論における精度を向上させ、より鋭い有限標本保証を達成する。
• 結果は無限次元ヒルベルト空間に対しても適用可能であり、基礎となる空間の次元にかかわらず有効な境界を保つ。