[論文レビュー] Improved Central Limit Theorem and bootstrap approximations in high dimensions

Victor Chernozhukov, Denis Chetverikov+2 more|arXiv (Cornell University)|Dec 22, 2019

Statistical Methods and Inference被引用数 25

ひとこと要約

本稿では、反復的ランダム化リンデバーグ法を用いて、高次元の最大統計量のための改良された中心極限定理およびブートストラップ近似を導入し、よりきつい誤差バインドを達成している。主な結果として、近似誤差が $ C\left(\frac{\log^5(pn)}{n}\right)^{1/4} $ で有界であることが確立されており、従来のバインドに比べ顕著に改善されており、$ p \gg n $ の高次元設定でも正確な推論を可能にしている。

ABSTRACT

This paper deals with the Gaussian and bootstrap approximations to the distribution of the max statistic in high dimensions. This statistic takes the form of the maximum over components of the sum of independent random vectors and its distribution plays a key role in many high-dimensional econometric problems. Using a novel iterative randomized Lindeberg method, the paper derives new bounds for the distributional approximation errors. These new bounds substantially improve upon existing ones and simultaneously allow for a larger class of bootstrap methods.

研究の動機と目的

• 高次元における最大統計量のガウス近似およびブートストラップ近似に対して、鋭いバインドが不足しているという問題に取り組む。
• 従来のバインドが $ n $ および $ p $ に対して悪くスケーリングするのを改善し、特に $ p \gg n $ の領域で有効であるようにする。
• マルチプライヤーブートストラップおよびエムpirィカルブートストラップを含む、ガウス法および一般ブートストラップ法の両方に適用可能な統一的なフレームワークを開発する。
• 理論的裏付けが強く、計算的に実行可能な高次元推論のための方法を提供する。
• 高次元回帰、多重仮説検定、モデル信頼集合などの応用分野における正確な推論を可能にする。

提案手法

• 高次元中心極限定理の古典的リンデバーグ法を改善するための、新規の反復的ランダム化リンデバーグ法を提案する。
• 誤差の分布近似を制御するため、ランダム化および反復的構成を用いたシュタイン法を用いる。
• シュタインカーネルおよびモーメントマッチング技術を組み合わせて収束速度を向上させる。
• 弱いモーメントおよび依存性条件の下で、最大統計量 $ T_n = \max_{1 \leq j \leq p} \frac{1}{\sqrt{n}} \sum_{i=1}^n (X_{ij} - \mu_j) $ の誤差バインドを導出する。
• 第三位マッチングに限らない、一般マルチプライヤーブートストラップ法（例：ガウス分布、ラデマッハ重み）をカバーするフレームワークを拡張する。
• すべての $ p $ 成分にわたる一様バインドを確立し、$ p $ が $ n $ と共に増加する場合でも有効であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 高次元最大統計量のガウス近似の誤差バインドを、$ O\left(\left(\frac{\log^7(pn)}{n}\right)^{1/6}\right) $ よりも改善できるか？
• RQ2 改善されたバインドが、一般マルチプライヤーブートストラップおよびエムピリカルブートストラップを含む、より広いクラスのブートストラップ法に対しても成り立つか？
• RQ3 $ n $ における収束速度を $ n^{-1/6} $ から $ n^{-1/4} $ に向上させつつ、$ p $ に対する対数的依存性を維持できるか？
• RQ4 新しいバインドの鋭さは、$ p $ および $ n $ に対する依存性としてどの程度であり、既知の下界と比較してどうなるか？
• RQ5 構造的仮定（例：非退化共分散、対数凹密度）の下で、非i.i.d.または従属な高次元データに対してもこの手法を拡張できるか？

主な発見

• 本稿では、ガウス法およびブートストラップ臨界値の両方に対して、$ \left| \mathbb{P}(T_n > c_{1-\alpha}) - \alpha \right| \leq C\left(\frac{\log^5(pn)}{n}\right)^{1/4} $ という新しいバインドを確立している。
• このバインドにより、$ n $ の指数が $ 1/6 $ から $ 1/4 $ に改善され、高次元設定における収束速度が顕著に向上している。
• バインドは、第三位マッチングやエムピリカルブートストラップに限らず、一般マルチプライヤーブートストラップ法（例：ガウス分布、ラデマッハ重み）に対しても成立する。
• 従来のバインドで $ \log p = o(n^{1/5}) $ であった制約が、本手法では $ \log p = o(n^{1/4}) $ に改善され、正確な推論が可能な範囲が拡大されている。
• モンテカルロシミュレーションにより、さまざまな設計および分布で名目水準に近い棄却率が得られ、理論的結果が裏付けられている。
• 追加の構造的仮定（例：非退化共分散、対数凹密度）の下では、$ O\left(\left(\frac{\log^4(pn)}{n}\right)^{1/3}\right) $ および $ O\left(\left(\frac{\log^3 p}{n}\right)^{1/2} \log n\right) $ へのさらなる改善が可能である。