[論文レビュー] Slightly Conservative Bootstrap for Maxima of Sums

Hang Deng|arXiv (Cornell University)|Jul 31, 2020

Statistical Methods and Inference参考文献 18被引用数 9

ひとこと要約

本稿では、ブートストラップ分位数を1%だけ増幅させることで、高次元推論における収束速度を向上させるやや保守的なブートストラップ法を提案する。小さな増幅係数を用いることで、被覆誤差率は $\sqrt{\log p / n}$ に改善され、$n \gg \log p$ のサンプルサイズでほぼパラメトリックな収束が達成可能となり、標準的ブートストラップ法に比べ顕著に性能向上を実現する。

ABSTRACT

We study the bootstrap for the maxima of the sums of independent random variables, a problem of high relevance to many applications in modern statistics. Since the consistency of bootstrap was justified by Gaussian approximation in Chernozhukov et al. (2013), quite a few attempts have been made to sharpen the error bound for bootstrap and reduce the sample size requirement for bootstrap consistency. In this paper, we show that the sample size requirement can be dramatically improved when we make the inference slightly conservative, that is, to inflate the bootstrap quantile $t_α^*$ by a small fraction, e.g. by $1\%$ to $1.01\,t^*_α$. This simple procedure yields error bounds for the coverage probability of conservative bootstrap at as fast a rate as $\sqrt{(\log p)/n}$ under suitable conditions, so that not only the sample size requirement can be reduced to $\log p \ll n$ but also the overall convergence rate is nearly parametric. Furthermore, we improve the error bound for the coverage probability of the standard non-conservative bootstrap to $[(\log (np))^3 (\log p)^2/n]^{1/4}$ under general assumptions on data. These results are established for the empirical bootstrap and the multiplier bootstrap with third moment match. An improved coherent Lindeberg interpolation method, originally proposed in Deng and Zhang (2017), is developed to derive sharper comparison bounds, especially for the maxima.

研究の動機と目的

• 高次元推論における課題、特に正規化された和の最大値の分布に対して、$ p \gg n $ の状況を扱う。
• 高次元設定におけるブートストラップの一貫性のためのサンプルサイズ要件を低減することを目的とし、既存手法が要求する $ n \gg (\log p)^5 $ よりも緩和する。
• 既存の境界を超えて、ブートストラップ被覆確率誤差の収束速度を向上させ、パラメトリックレート $ n^{-1/2} $ に近づけること。
• サブガウス性を仮定しない一般のモーメントおよび尾部条件のもとで、経験的ブートストラップおよび乗数ブートストラップの理論的保証を確立すること。

提案手法

• ブートストラップ分位数 $ t_{\alpha}^{*} $ を1%増幅して $ 1.01\,t_{\alpha}^{*} $ とすることで、わずかに保守的なブートストラップを提案し、より良い被覆確率を確保する。
• コherentなリンデバーグ補間法を用いて、特に最大値に対して、真の分布とブートストラップ分布との間の鋭い比較境界を導出する。
• 乗数ブートストラップにおいて、ガウス近似と3次モーメントマッチングを適用し、誤差境界を改善する。
• 片側被覆誤差 $ \eta^{*}_{n,\alpha} $ の上界を導出し、やや弱い条件下でも $ \sqrt{\log p / n} $ のレートで減少することを示す。
• さまざまな従属構造と分布に対して、保守的および正確なブートストラップ手順の性能を検証するためのシミュレーションスタディを実施する。
• 有限標本における性能を比較するため、経験的ブートストラップおよび乗数ブートストラップスキーム（マメンの乗数ブートストラップおよびラデマッハ乗数ブートストラップを含む）を用いる。

実験結果

リサーチクエスチョン

• RQ1 ブートストラップ分位数のわずかな増幅が、高次元設定におけるブートストラップ被覆確率の収束速度を顕著に改善できるか？
• RQ2 サンプルサイズ $ n \gg \log p $ が、$ p \to \infty $ の下で一貫性のある推論に必要な最小限の要件として、どの程度必要か？
• RQ3 被覆誤差と収束速度の観点から、保守的ブートストラップは標準的（非保守的）ブートストラップに比べてどのように差がつくか？
• RQ4 サブガウス性を仮定しない一般のモーメントおよび尾部条件のもとで、標準的ブートストラップの誤差境界を改善できるか？
• RQ5 さまざまな従属構造と分布的仮定の下でも、保守的ブートストラップは良好な有限標本性能を維持できるか？

主な発見

• わずかに保守的なブートストラップの被覆誤差は $ \sqrt{\log p / n} $ で有界であり、一般のモーメントおよび尾部条件のもとで、ほぼパラメトリックな収束レートを達成する。
• サンプルサイズ要件は $ n \gg \log p $ にまで低減され、以前の $ n \gg (\log p)^5 $ を要する境界に比べて顕著な改善が達成される。
• 標準的（非保守的）ブートストラップの誤差境界は $ \big{(}(\log(np))^{3}(\log p)^{2}/n\big{)}^{1/4} $ に改善され、以前の結果を上回る性能を示す。
• 1%の増幅を施した保守的ブートストラップは、平均して被覆確率を約1%向上させ、特に相関が高い状況でより顕著な改善が見られる。
• マメンの乗数ブートストラップは最も安定した性能を示し、増幅された分位数が被覆確率を名目水準にうまくシフトさせる。
• シミュレーション結果により、保守的ブートストラップが、標準的ブートストラップが被覆を欠く状況でも、特に相関のある設定において信頼性の高い被覆（95%以上）を達成することが確認された。