[論文レビュー] High-dimensional simultaneous inference with the bootstrap

Ruben Dezeure, Peter Bühlmann+1 more|arXiv (Cornell University)|Jun 13, 2016

Statistical Methods and Inference参考文献 39被引用数 8

ひとこと要約

この論文は、非正規かつ異分散誤差を伴う高次元線形モデルに対して、de-sparsified Lasso を基盤として、残差ブートストラップおよびワイルドブートストラップ手法を提案する。スパarsity とグループサイズの制約の下で、同時推論に対して漸近的整合性を確立し、$ p \gg n $ の高次元設定において、頑健で計算的に実行可能な信頼区間と多重仮説検定の補正を提供する。

ABSTRACT

We propose a residual and wild bootstrap methodology for individual and simultaneous inference in high-dimensional linear models with possibly non-Gaussian and heteroscedastic errors. We establish asymptotic consistency for simultaneous inference for parameters in groups $G$, where $p \gg n$, $s_0 = o(n^{1/2}/\{\log(p) \log(|G|)^{1/2}\})$ and $\log(|G|) = o(n^{1/7})$, with $p$ the number of variables, $n$ the sample size and $s_0$ denoting the sparsity. The theory is complemented by many empirical results. Our proposed procedures are implemented in the R-package hdi.

研究の動機と目的

• 非正規かつ異分散誤差を伴う高次元線形モデルにおける信頼性の高い推論手法の不足を解消すること。
• 標準の Lasso に基づく推論に内在するスーパー効率性バイアスを回避するブートストラップベースのアプローチを開発すること。
• 高次元漸近的枠組み下で $ p \gg n $ の条件下で、変数のグループに対する同時推論を可能にすること。
• 弱スパarsity およびグループサイズの制約の下で、個々の推論および同時推論の両方に対して理論的整合性を確立すること。
• 実世界の高次元データ解析に向け、実用的で計算的に効率的な手法を R パッケージ hdi に実装すること。

提案手法

• 論文は、弱スパarsity の下で漸近正規性と効率性を有する、正則でスパースでない推定量である de-sparsified Lasso 推定量のブートストラップを提案する。
• 残差ブートストラップおよびワイルドブートストラップの両方を用いて、de-sparsified Lasso の標本分布を近似し、異分散誤差の設定ではワイルドブートストラップを優先する。
• 固定設計の下で一度だけ計算される残差ベクトル $ Z_1, \dots, Z_p $ に対してブートストラップリサンプリングを適用し、計算コストを最小限に抑える。
• 理論的整合性は、$ s_0 = o(n^{1/2}/\{\log(p)\log(|G|)^{1/2}\}) $ および $ \log(|G|) = o(n^{1/7}) $ の条件下で確立される。ここで $ s_0 $ はスパarsity、$ G $ は変数のグループを表す。
• 多重仮説検定の補正は、ブートストラップに基づく $ p $-値を用いて達成され、多数の仮説に対して同時誤差制御が可能になる。
• 実装は R パッケージ hdi (Meier et al., 2016) に統合されており、高次元データ解析における実用的応用を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、$ p \gg n $ かつ非正規・異分散誤差を伴う高次元線形モデルにおいて、信頼性の高い同時推論を達成できるか？
• RQ2 異分散性の下で、どのブートストラップ手法—残差かワイルドか—が一貫性のある推論を提供するのか？また、なぜ一方が他方よりも好まれるのか？
• RQ3 de-sparsified Lasso のブートストラップは、直接的な Lasso に基づく推論に見られるスーパー効率性現象を回避できるか？
• RQ4 スパarsity $ s_0 $ およびグループサイズ $ |G| $ に対する理論的条件が、同時推論の有効性にどのように影響するか？
• RQ5 提案手法の計算的実行可能性と実証的性能は、既存の代替手法と比較してどの程度か？

主な発見

• 提案手法は、$ s_0 = o(n^{1/2}/\{\log(p)\log(|G|)^{1/2}\}) $ および $ \log(|G|) = o(n^{1/7}) $ の条件下で、$ p \gg n $ であっても、同時推論に対して漸近的整合性を達成する。
• ワイルドブートストラップは異分散誤差の下で一貫性を示すが、残差ブートストラップはこの設定では失敗するため、頑健な推論にはワイルドブートストラップが好まれる。
• スパース Lasso の代わりに de-sparsified Lasso のブートストラップを用いることで、スーパー効率性現象を回避し、より信頼性の高い信頼区間と $ p $-値が得られる。
• 実証的結果は、非正規および異分散誤差の下でも、他の手法と比較して多重仮説検定の補正および同時被覆率の両面で優れた性能を示している。
• ブートストラップの計算コストは管理可能であり、固定設計の下では de-sparsified Lasso 自体を計算するのと比べて著しく高くない。
• 手順は R パッケージ hdi (Meier et al., 2016) に実装されており、実世界の高次元データセットへの実用的応用が可能である。