[論文レビュー] Gaussian approximations and multiplier bootstrap for maxima of sums of high-dimensional random vectors

Victor Chernozhukov, Denis Chetverikov+1 more|RePEc: Research Papers in Economics|Dec 31, 2012

Statistical Methods and Inference被引用数 6

ひとこと要約

本稿では、次元 $ p $ が標本サイズ $ n $ よりも著しく大きい場合でも、高次元の確率的ベクトルの和の最大値に対するガウス近似およびマルチプライヤーブートストラップ手法を開発する。非漸近的バウンドを確立し、真の分布とガウス的または条件付きガウス的近似との間のコルモゴロフ距離が $ n $ に関して多項式的に減少することを示し、高次元統計における妥当な推論を可能にする。

ABSTRACT

We derive a Gaussian approximation result for the maximum of a sum of high-dimensional random vectors. Specifically, we establish conditions under which the distribution of the maximum is approximated by that of the maximum of a sum of the Gaussian random vectors with the same covariance matrices as the original vectors. This result applies when the dimension of random vectors ($p$) is large compared to the sample size ($n$); in fact, $p$ can be much larger than $n$, without restricting correlations of the coordinates of these vectors. We also show that the distribution of the maximum of a sum of the random vectors with unknown covariance matrices can be consistently estimated by the distribution of the maximum of a sum of the conditional Gaussian random vectors obtained by multiplying the original vectors with i.i.d. Gaussian multipliers. This is the Gaussian multiplier (or wild) bootstrap procedure. Here too, $p$ can be large or even much larger than $n$. These distributional approximations, either Gaussian or conditional Gaussian, yield a high-quality approximation to the distribution of the original maximum, often with approximation error decreasing polynomially in the sample size, and hence are of interest in many applications. We demonstrate how our Gaussian approximations and the multiplier bootstrap can be used for modern high-dimensional estimation, multiple hypothesis testing, and adaptive specification testing. All these results contain nonasymptotic bounds on approximation errors.

研究の動機と目的

• 次元 $ p $ が標本サイズ $ n $ よりも大きい場合に、高次元の確率的ベクトルの和の最大値の分布近似という課題に取り組む。
• 同一の分散共分散行列を持つガウス的ベクトルの和の最大値と比較することで、i.i.d. 高次元確率的ベクトルの和の最大座標の分布に対する非漸近的ガウス近似を提供する。
• 共分散構造が未知である場合に、最大値の分布を推定する有効なマルチプライヤーブートストラップ手順を開発する。
• 近似誤差が $ n $ に関して多項式的に減少する条件を確立する。これは $ p $ が $ n $ に対して指数関数的に増加する場合でも成り立つ。
• 多重仮説検定、推定、適合度検定などの高次元統計的問題における実用的推論を可能にする。

提案手法

• 同一の共分散行列を持つガウス的ベクトルの和の最大値と比較することで、高次元確率的ベクトルの和の最大値に対するガウス近似を導出する。
• シュタイン法、スレピアンの補間法、および反濃度境界を用いて、真の分布と近似分布との間のコルモゴロフ距離を制御する。
• 滑らかなポテンシャル近似を最大関数に適用し、解析的扱いやすさを高めるためにスピンガラスモデルの自由エネルギーと関連付ける。
• 元のベクトルにi.i.d. 標準正規マルチプライヤーを乗じることで、未知の共分散に基づく分布を推定するガウス的マルチプライヤーブートストラップ（ワイルドブートストラップ）を導入する。
• モーメントおよび反濃度条件を用いて、非漸近的近似誤差バウンドを確立する。これには、超指数的および非超指数的尾部が含まれる。
• 集中不等式および自己正規化和のバウンドを用いて、ブートストラップにおける誤差を、経験的共分散構造と真の共分散構造の差の上限として制御する。

実験結果

リサーチクエスチョン

• RQ1 高次元確率的ベクトルの和の最大値の分布が、同じ共分散構造を持つガウス的ベクトルの分布に収束する条件は何か？
• RQ2 真の共分散行列が未知である場合に、マルチプライヤーブートストラップを用いて最大値の分布を一貫して推定できるか？
• RQ3 特に $ p \gg n $ の場合に、近似誤差は標本サイズ $ n $ に関してどの程度速く減少するか？
• RQ4 ガウス近似およびブートストラップの有効性を保証するモーメントおよび依存構造の条件は何か？
• RQ5 これらの近似手法は、多重仮説検定や適応的適合度検定などの高次元推論問題にどのように応用できるか？

主な発見

• 弱いモーメント条件の下で、最大値 $ T_0 $ の分布とそのガウス的類似物 $ Z_0 $ の間のコルモゴロフ距離は $ Cn^{-c} $（$ c>0 $）で有界である。
• 近似誤差は $ p $ が $ e^{o(n^c)} $ の速度で増加する場合でも、$ n $ に関して多項式的に減少する。これは $ p \gg n $ の場合に有効である。
• 一様有界な確率的ベクトルに対しては、誤差が $ O((\log p)^7 / n) $ のレートで減少し、$ (\log p)^7 / n \to 0 $ であれば常にゼロに近づく。
• ガウス的マルチプライヤーブートストラップは、同じ条件下で最大値の分布を一貫して推定でき、誤差レートも $ O(n^{-c}) $ となる。
• 裾確率の近似において高い正確性を達成しており、これは多重仮説検定などの実用的推論において極めて重要である。
• 結果は非漸近的であり、高次元設定全体にわたって一様に成り立つため、$ p \gg n $ の現代のデータ解析における妥当な推論を可能にする。