[論文レビュー] Perturbation Bootstrap in Adaptive Lasso

Debraj Das, Karl Gregory+1 more|arXiv (Cornell University)|Mar 9, 2017

Statistical Methods and Inference参考文献 24被引用数 3

ひとこと要約

本稿では、モデル次元が標本サイズとともに増加する高次元設定において、第二階級の正しさを達成するように修正された摂動ブートストラップ法を、適応的lasso（Alasso）に対して提案する。Minnierら（2011）のナイーブな摂動ブートストラップとは異なり、高次バイアスを補正できないが、著者らはブートストラップ目的関数を修正し、標準化を用いることで、Alasso推定量の分布近似を正確に保証する。これにより、オラクル正規近似に比べて推論の精度が著しく向上する。

ABSTRACT

The Adaptive Lasso(Alasso) was proposed by Zou [ extit{J. Amer. Statist. Assoc. extbf{101} (2006) 1418-1429}] as a modification of the Lasso for the purpose of simultaneous variable selection and estimation of the parameters in a linear regression model. Zou (2006) established that the Alasso estimator is variable-selection consistent as well as asymptotically Normal in the indices corresponding to the nonzero regression coefficients in certain fixed-dimensional settings. In an influential paper, Minnier, Tian and Cai [ extit{J. Amer. Statist. Assoc. extbf{106} (2011) 1371-1382}] proposed a perturbation bootstrap method and established its distributional consistency for the Alasso estimator in the fixed-dimensional setting. In this paper, however, we show that this (naive) perturbation bootstrap fails to achieve second order correctness in approximating the distribution of the Alasso estimator. We propose a modification to the perturbation bootstrap objective function and show that a suitably studentized version of our modified perturbation bootstrap Alasso estimator achieves second-order correctness even when the dimension of the model is allowed to grow to infinity with the sample size. As a consequence, inferences based on the modified perturbation bootstrap will be more accurate than the inferences based on the oracle Normal approximation. We give simulation studies demonstrating good finite-sample properties of our modified perturbation bootstrap method as well as an illustration of our method on a real data set.

研究の動機と目的

• 高次元設定における適応的lasso推定量の第二階級の正しさを達成するためのナイーブな摂動ブートストラップの限界を解消すること。
• 予測子の数が標本サイズとともに増加する状況において、Alasso推定量の有限標本分布を正確に近似できる、計算効率の良いブートストラップ法を開発すること。
• スパース高次元線形モデルにおける非ゼロ回帰係数の推論のための、オラクル正規近似の見直しを提供すること。
• 発散する次元性を許容する弱い正則性条件の下で、特に第二階級の正しさを保証する理論的根拠を確立すること。

提案手法

• Alasso推定量のバイアスを補正するために、ブートストラップ損失関数に補正済みのペナルティ項を組み込むことで、バイアスを補正する修正された摂動ブートストラップ目的関数を提案する。
• 真の標本分布と漸近的に分布的に同等になるように、修正されたブートストラップ推定量の標準化版を導入する。
• エッジワース展開技術と高次漸近理論を用いて、ブートストラップ分布が真の標本分布に収束する速度を分析する。
• 高次元漸近論の下で、ブートストラップ分散およびペナルティ項の推定誤差を制御するために、テイラー展開とマルティングル型の議論を用いる。
• 弱いモーメント条件の下で、ブートストラップ統計量の一様集中境界を確立するために、ホーフィングの不等式およびバーガーの不等式を適用する。
• 修正されたブートストラップと真の標本分布のエッジワース展開が、$ o(n^{-1}) $ のオーダーまで一致することを導出し、第二階級の正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 Minnierら（2011）のナイーブな摂動ブートストラップ法は、高次元設定において適応的lasso推定量の分布近似において第二階級の正しさを達成するか？
• RQ2 モデル次元が標本サイズとともに増加する状況において、第二階級の正しさを達成するように、修正された摂動ブートストラップ目的関数を構築できるか？
• RQ3 有限標本において、修正されたブートストラップの性能はオラクル正規近似と比べてどのように異なるか？
• RQ4 修正されたブートストラップが高次元線形モデルにおいて第二階級の正確さを達成するための理論的条件は何か？

主な発見

• ナイーブな摂動ブートストラップは、固定次元設定でさえも、ペナルティ項による補正されていないバイアスのため、適応的lasso推定量の分布近似において第二階級の正しさを達成できない。
• 提案された修正された摂動ブートストラップ目的関数は、予測子の数が標本サイズとともに増加する状況でも、分布近似において第二階級の正しさを達成する。
• 適切に標準化された修正ブートストラップ推定量は、エッジワース展開において真のAlasso推定量の有限標本分布と$ o(n^{-1}) $ 項まで一致し、推論の精度を高める。
• シミュレーション研究により、修正されたブートストラップの有限標本性能が良好であることが示され、名目水準に近い適合確率が得られている。
• この手法は計算的に効率的であり、高次元設定でも適用可能であり、非ゼロ回帰係数の推論において漸近的正規近似の実用的代替手段として有効である。
• 理論的結果により、修正されたブートストラップ分布が真の標本分布と同一の速度で収束し、$ o(n^{-1}) $ のオーダーまでエッジワース展開が一致することを確認し、推論への適用の妥当性を裏付けた。