[論文レビュー] High-dimensional CLT for Sums of Non-degenerate Random Vectors: $n^{-1/2}$-rate

Arun Kumar Kuchibhotla, Alessandro Rinaldo|arXiv (Cornell University)|Sep 28, 2020

Random Matrices and Applications参考文献 36被引用数 4

ひとこと要約

本稿は、非特異な共分散行列を備えた独立で同一分布でない確率的ベクトルの和について、高次元における中心極限定理（CLT）を確立し、超長方形におけるBerry–Esseenの誤差項に最良の $n^{-1/2}$ 速度を達成した。証明は、Senatovの合成法の非自明な適応に依拠しており、従来の結果を拡張するもので、部分ガウス分布性や独立性に関する制限を緩和しつつ、有限な3次モーメントを維持している。

ABSTRACT

In this note, we provide a Berry--Esseen bounds for rectangles in high-dimensions when the random vectors have non-singular covariance matrices. Under this assumption of non-singularity, we prove an $n^{-1/2}$ scaling for the Berry--Esseen bound for sums of mean independent random vectors with a finite third moment. The proof is essentially the method of compositions proof of multivariate Berry--Esseen bound from Senatov (2011). Similar to other existing works (Kuchibhotla et al. 2018, Fang and Koike 2020a), this note considers the applicability and effectiveness of classical CLT proof techniques for the high-dimensional case.

研究の動機と目的

• 独立で同一分布でない確率的ベクトルの和について、高次元CLTを $n^{-1/2}$ 收束速度で導出すること。
• 従来の研究で用いられた部分ガウス分布性や対数凹型性といった制限的な仮定を緩和すること。
• 非退化な共分散と有限な3次モーメントという最小限の条件下で、可能な限り鋭い収束速度を確立すること。
• 下界を用いて $n^{-1/2}$ 速度の最適性を示し、より強い仮定がなければこの速度を向上させられないことを示すこと。
• 重い尾を持つ誤差を伴う回帰モデルなど、高次元統計的モデルにおける乗数確率的ベクトルに適用可能な一般枠組みを提供すること。

提案手法

• 高次元における超長方形の多変量Berry–Esseenの誤差項を導出するために、Senatovの合成法を適応する。
• Steinの方法の枠組みを用いて、和の分布とガウス分布のターゲットとの差を長方形領域上で評価する。
• テスト関数の3次微分の $L^1$ ノルムを用いて、制御された剰余項を伴う3次テイラー展開を用いる。
• 3次微分を用いて分布間の乖離を定量化するための正規化された指標 $\zeta_3(U,V)$ を導入する。
• 導出された重要な不等式 $\zeta_3(U,V) \leq \nu_3(U,V)/6$ を用いて、微分ノルムと全 Variation に類似した距離を関連付ける。
• 重い尾を持つ成分を有する明示的な反例を構築し、与えられた仮定の下で $n^{-1/2}$ 速度が改善不能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 部分ガウス分布性や対数凹型性よりも弱い仮定の下でも、高次元CLTにおける $n^{-1/2}$ 収束速度を達成できるか？
• RQ2 非特異な共分散行列と有限な3次モーメントを有する非i.i.d.確率的ベクトルの和に対して、$n^{-1/2}$ 速度が最適であるか？
• RQ3 合成法を高次元における超長方形に対して適応することで、i.i.d. または部分ガウス分布性の仮定なしに鋭い誤差項を得られるか？
• RQ4 非退化性の下で $n^{-1/2}$ 収束を達成するために、次元 $p$ にどの程度依存する必要があるか？
• RQ5 高次元回帰における乗数確率的ベクトルはCLTの収束速度にどのように影響するか？理論はそれらを扱えるか？

主な発見

• 本稿は、非特異な共分散行列と有限な3次モーメントを有する独立で同一分布でない確率的ベクトルの和について、$n^{-1/2}$ Berry–Esseenの誤差項を達成した。
• 誤差項はすべての $p$ 次元超長方形に一様に成立し、高次元推論への適用可能性が拡張された。
• $n^{-1/2}$ 速度が下界の構築により最適であることが示され、$ olimits\sigma_{\min} \lesssim n^{-1/6}$ のとき、誤差が0から離れて保たれることを示した。
• i.i.d. 性と部分ガウス分布性の仮定を排除しながらも $n^{-1/2}$ 速度を維持する点で、Lopes (2020) よりも改善された。
• 重い尾を持つ成分に対しても頑健であるため、非部分ガウス分布誤差を伴う高次元回帰における乗数過程に適している。
• 証明により、やや弱い条件下で $\nu_3(U,V) \lesssim (\log(ep))^{3/2}$ が成り立つことが示され、これと $ olimits\sigma_{\min}$ のスケーリングを組み合わせることで $n^{-1/2}$ 速度が達成可能である。