[論文レビュー] Beyond Gaussian Approximation: Bootstrap for Maxima of Sums of Independent Random Vectors

Hang Deng, Cun‐Hui Zhang|arXiv (Cornell University)|May 26, 2017

Statistical Methods and Inference参考文献 29被引用数 19

ひとこと要約

本稿では、ガウス近似に依存せずに、独立な高次元ランダムベクトルの和の最大値に対するブートストラップ法を開発し、一貫性のある推論に必要な標本サイズを $ n \gg (\log p)^7 $ から $ n \gg (\log p)^5 $ に削減した。ガウス近似が失敗する場合でも有効なブートストラップ推論を可能にするために、新たな比較定理および反濃度定理を確立した。

ABSTRACT

The Bonferroni adjustment, or the union bound, is commonly used to study rate optimality properties of statistical methods in high-dimensional problems. However, in practice, the Bonferroni adjustment is overly conservative. The extreme value theory has been proven to provide more accurate multiplicity adjustments in a number of settings, but only on ad hoc basis. Recently, Gaussian approximation has been used to justify bootstrap adjustments in large scale simultaneous inference in some general settings when $n \gg (\log p)^7$, where $p$ is the multiplicity of the inference problem and $n$ is the sample size. The thrust of this theory is the validity of the Gaussian approximation for maxima of sums of independent random vectors in high-dimension. In this paper, we reduce the sample size requirement to $n \gg (\log p)^5$ for the consistency of the empirical bootstrap and the multiplier/wild bootstrap in the Kolmogorov-Smirnov distance, possibly in the regime where the Gaussian approximation is not available. New comparison and anti-concentration theorems, which are of considerable interest in and of themselves, are developed as existing ones interweaved with Gaussian approximation are no longer applicable.

研究の動機と目的

• ガウス近似に依存しない高次元における独立したランダムベクトルの和の最大値に対するブートストラップ法の開発。
• 一貫性のあるブートストラップ推論に必要な標本サイズを $ n \gg (\log p)^7 $ から $ n \gg (\log p)^5 $ に削減すること。
• ガウス的でない状況でも有効な新たな比較定理および反濃度定理の確立。
• 高次元統計における大規模同時推論の理論的裏付けと非漸近的枠組みの提供。

提案手法

• 真の分布とブートストラップ分布の間のコルモゴロフ・スミルノフ距離を制御するため、比較不等式を用いた理論的フレームワークを構築。
• ガウス近似に依存しない独立したランダムベクトルの和の最大値に対する反濃度定理を導入。
• 最小限のモーメント条件の下で、経験的ブートストラップおよびマルチプライヤー／ワイルドブートストラップを高次元最大値に適用。
• チェインジング型の議論を対称化およびモーメント比較技術と組み合わせ、ブートストラップ誤差を制御。
• 標本サイズ条件 $ n \gg (\log p)^5 $ の下で、コルモゴロフ・スミルノフ距離におけるブートストラップの一致性を確立。
• ガウス近似が不成立であっても成り立つ、和の最大値に関する新たな反濃度不等式に依存。

実験結果

リサーチクエスチョン

• RQ1 ガウス近似に依存せずに、高次元和の最大値に対して一貫性のあるブートストラップを適用できるか？
• RQ2 高次元設定における有効なブートストラップ推論に必要な最小標本サイズは何か？
• RQ3 非ガウス的状況下で最大値の反濃度性質をどのように確立できるか？
• RQ4 ガウス近似の失敗に強く耐える比較定理をどのように開発できるか？

主な発見

• 経験的ブートストラップおよびマルチプライヤー／ワイルドブートストラップは、条件 $ n \gg (\log p)^5 $ の下でコルモゴロフ・スミルノフ距離において一貫性を示し、以前の $ n \gg (\log p)^7 $ の要件を改善した。
• ガウス近似が失敗しても有効な新たな反濃度定理が確立され、非ガウス的高次元設定下でも頑健な推論を可能にした。
• 元のランダムベクトルのガウス性を仮定せず、ブートストラップ誤差を制御可能な新たな比較不等式が開発された。
• ユニオンバウンドが過剰に保守的になるような一般の高次元推論問題に、理論的フレームワークが適用可能である。