[論文レビュー] Central Limit Theorem and Bootstrap Approximation in High Dimensions with Near $1/\sqrt{n}$ Rates

Miles E. Lopes|arXiv (Cornell University)|Sep 13, 2020

Statistical Methods and Inference参考文献 17被引用数 5

ひとこと要約

本稿は、i.i.d. $p$-次元のサブガウス分布に従う確率的ベクトルの和に対する、高次元設定におけるガウス近似およびブートストラップ近似について、$n^{-1/2}$-率に近いBerry-Esseenの上限を確立する。この成果は、独自の証明技法を用いることで達成され、次元 $p$ に対する対数的依存性が弱く、非漸近的でより鋭い境界を提供する。

ABSTRACT

Non-asymptotic bounds for Gaussian and bootstrap approximation have recently attracted significant interest in high-dimensional statistics. This paper studies Berry-Esseen bounds for such approximations (with respect to the multivariate Kolmogorov distance), in the context of a sum of $n$ random vectors that are $p$-dimensional and i.i.d. Up to now, a growing line of work has established bounds with mild logarithmic dependence on $p$. However, the problem of developing corresponding bounds with near $n^{-1/2}$ dependence on $n$ has remained largely unresolved. Within the setting of random vectors that have sub-Gaussian entries, this paper establishes bounds with near $n^{-1/2}$ dependence, for both Gaussian and bootstrap approximation. In addition, the proofs are considerably distinct from other recent approaches.

研究の動機と目的

• 標本サイズ $n$ に対して $n^{-1/2}$-率に近い非漸近的境界を、高次元ガウス近似およびブートストラップ近似に対して埋める。
• 従来の研究が次元 $p$ に対して対数的依存性しか得られなかったのに対し、高い収束速度を維持しつつその制限を克服する。
• サブガウス分布の仮定の下で、高次元中心極限定理に対するより鋭く実用的な誤差境界を提供する。
• 最近の手法とは異なり、根本的に異なる証明フレームワークを構築し、次元制御を損なわず $n$ に対するより良い依存性を達成する。

提案手法

• i.i.d. $p$-次元サブガウス確率的ベクトルの和の分布とガウス近似との間の多変量コモゴロフ距離について、非漸近的Berry-Esseenの境界を導出する。
• 従来の研究で用いられる古典的Steinの方法やエントロピーに基づく議論に依存しない、新しい解析的枠組みを採用する。
• サブガウス分布に特化した洗練された集中不等式を導入し、近似誤差をより厳密に制御する。
• 同じ仮定のもとでブートストラップ近似に対しても、同様に$ n^{-1/2} $-率に近い境界を確立する。
• 次元依存のエントロピーおよびメトリックエントロピーの議論を用いて、高次元射影の複雑さを管理する。
• 対称化およびデカップリング技術を活用し、高次元問題を制御された誤差伝搬を持つ扱いやすい構成要素に分解する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. サブガウス確率的ベクトルの和に対する高次元ガウス近似について、$n^{-1/2}$-率に近いBerry-Esseenの境界を確立できるか？
• RQ2 次元 $p$ への依存性が、高次元中心極限定理における収束速度にどのように影響するか？
• RQ3 同じサブガウス仮定のもとで、ブートストラップ近似も同様に$ n^{-1/2} $-率に近い収束を達成できるか？
• RQ4 従来のエントロピーに基づく手法やSteinの方法とは異なる、これらの改善された収束率を達成するために必要な新たな証明技法は何か？
• RQ5 サブガウスの尾部特性と、高次元設定における結果の近似誤差との間にはどのような相互作用があるか？

主な発見

• 本稿は、高次元におけるガウス近似について、$n^{-1/2}$-率に近いBerry-Esseenの境界を確立し、従来の対数的 $n$-依存性しか得られなかった結果を著しく改善する。
• 境界は次元 $p$ に対して僅かな対数的依存性を示し、$p$ が $n$ と共に増加しても有効である。
• 同じ近似率はブートストラップ近似に対しても達成されており、結果の適用範囲がリサンプリング手法へと拡張されている。
• 証明戦略は最近の手法とは根本的に異なり、より鋭い誤差制御をもたらす、代替的な集中および対称化技法に依存している。
• 結果は、高次元統計で一般的かつ現実的な条件である、確率的ベクトルの成分に対するサブガウス性仮定のもとで成り立つ。
• このフレームワークは、誤差率を制御した信頼領域の構築や仮説検定などの、高次元設定における改善された推論の基盤を提供する。