[論文レビュー] Can we trust the bootstrap in high-dimension?

Noureddine El Karoui, Elizabeth Purdom|arXiv (Cornell University)|Aug 2, 2016

Statistical Methods and Inference参考文献 47被引用数 11

ひとこと要約

この論文は、観測数 $ n $ と予測子の数 $ p $ が同程度である高次元線形回帰におけるブートストラップ法の信頼性を調査している。高次元漸近的枠組み下では、標準的な残差ブートストラップとペアズブートストラップが失敗することが示された：残差ブートストラップは反保守的（第一種誤り率が上昇）、ペアズブートストラップは過剰に保守的（検出力の喪失）であり、ジャックナイフは分散を過大評価する。著者らは理論的洞察に基づく修正ブートストラップ手順を提案するが、モデル固有の仮定がなければ普遍的なロバスト性は得られないと警告している。

ABSTRACT

We consider the performance of the bootstrap in high-dimensions for the setting of linear regression, where $p

研究の動機と目的

• 高次元線形回帰におけるブートストラップ法の性能を評価すること。ここで $ p/n \to \kappa \in (0,1) $ であり、古典的漸近的枠組みでは十分に捉えられていない。
• 標準的なブートストラップ手法（残差ブートストラップおよびペアズブートストラップ）が、単一の回帰係数 $ \beta_1 $ に対して有効な信頼区間を生成できるかどうかを評価すること。
• ジャックナイフの高次元における挙動と、分散推定への影響を調査すること。
• 高次元漸近的枠組み下で同定された欠陥を是正する修正ブートストラップ手順を開発すること。
• 強いモデル仮定なしに、普遍的かつロバストなブートストラップ法が高次元設定で存在できるかどうかを特定すること。

提案手法

• 著者らは、高次元的枠組み $ p/n \to \kappa \in (0,1) $ におけるブートストラップの漸近的挙動を、確率的行列理論および経験過程の道具を用いて分析している。
• 3つのリサンプリング手法を比較している：残差ブートストラップ（残差の再抽出）、ペアズブートストラップ（$ (y_i, X_i) $ のペアの再抽出）、およびジャックナイフ（1つずつ削除した分散推定）。
• 理論的分析により、高次元的漸近的枠組み下での $ \hat{\beta} $ の標本分布は、古典的な i.i.d. 構造とは顕著に異なり、標準的ブートストラップ近似が無効であることが示された。
• 誤差分布をより正確に推定するためのデコンボリューションに基づくブートストラップ（手法1）を提案した。バンド幅選択にはデータ駆動ルールを用いる。
• ペアズブートストラップの分散推定を補正する補正係数 $ \alpha(\kappa) $ を理論的分析から導出。これは漸近的共分散構造の分析に基づく。
• さまざまな誤差分布（正規、ラプラス、楕円対称）および設計行列を用いたシミュレーションを実施し、95%信頼区間のカバレッジと幅を評価した。

実験結果

リサーチクエスチョン

• RQ1 高次元的枠組み $ p/n \to \kappa \in (0,1) $ の下で、標準的ブートストラップ手法（残差およびペアズ）が $ \beta_1 $ に対して有効な信頼区間を生成できるか？
• RQ2 ジャックナイフは高次元的設定下で $ \hat{\beta} $ の分散を推定する際にどのように機能するか？
• RQ3 残差およびペアズブートストラップが高次元で失敗する原因は何か？ そして、これらの失敗は是正可能か？
• RQ4 高次元的漸近的枠組み下で正しいカバレッジを維持する理論的根拠に基づくブートストラップ手順を構築できるか？
• RQ5 このような修正ブートストラップ手法はどの程度普遍的に適用可能か？ それらはモデル固有の仮定を必要とするのか？

主な発見

• 残差ブートストラップは反保守的信頼区間を生成し、$ p/n = 0.5 $ のとき第一種誤り率が21%まで上昇するなど、第一種誤り率の著しい上昇を示した。
• ペアズブートストラップは $ p/n \to 0.5 $ に近づくにつれてますます保守的になる。一部の誤差分布ではカバレッジが0%にまで低下し、統計的検出力のほぼ完全な喪失を示した。
• ジャックナイフは $ \hat{\beta} $ の分散を著しく過大評価し、重い尾を持つ誤差の下でL1損失の中央値過大評価比が最大3.156に達した。
• 適切なバンド幅選択を伴うデコンボリューションに基づくブートストラップ（手法1）は、誤差率をノミナル水準に近づける（例：正規誤差では約3%）など、カバレッジの改善を示した。
• 理論的分析から導出したスケーリング係数 $ \alpha(\kappa) $ を用いた修正ペアズブートストラップは、カバレッジを回復させ、$ p/n = 0.5 $ で誤差率を21%から約10%まで低下させた。
• 補正係数は損失関数（L2、ハーバー、L1）および誤差分布に依存しており、モデル固有の仮定なしには普遍的なブートストラップ補正は存在しないことが示唆された。