[論文レビュー] Selective inference with unknown variance via the square-root LASSO

Xiaoying Tian, Joshua R. Loftus+1 more|arXiv (Cornell University)|Apr 29, 2015

Statistical Methods and Inference参考文献 12被引用数 16

ひとこと要約

本稿では、誤差分散 $σ^2$ が未知である場合でも、モデル選択後の回帰係数の推定、信頼区間、および $σ^2$ の推定を同時に実行できる選択的仮説検定フレームワークを、平方根LASSOを用いて提案する。この手法は、平方根LASSOがスケールフリーなチューニング特性を有することに裏付けられ、未知のノイズレベルに依存しない。これにより、有効なp値と信頼区間が得られ、既存の手法と比較して、シミュレーションにおいて優れた分散推定と頑健なFDR制御を達成する。

ABSTRACT

There has been much recent work on inference after model selection when the noise level is known, however, $σ$ is rarely known in practice and its estimation is difficult in high-dimensional settings. In this work we propose using the square-root LASSO (also known as the scaled LASSO) to perform selective inference for the coefficients and the noise level simultaneously. The square-root LASSO has the property that choosing a reasonable tuning parameter is scale-free, namely it does not depend on the noise level in the data. We provide valid p-values and confidence intervals for the coefficients after selection, and estimates for model specific variance. Our estimates perform better than other estimates of $σ^2$ in simulation.

研究の動機と目的

• 誤差分散 $σ^2$ が未知で推定が困難な状況下における高次元回帰における選択的仮説検定の課題に取り組むこと。
• モデル選択後に回帰係数の推論と $σ^2$ の推定を統合的に実行できる手法を開発すること。
• データに依存するモデル選択を考慮した有効な統計的推論（p値、信頼区間）を保証すること、特に $σ^2$ が未知である場合でも。
• Sun & Zhang (2011) や Reid et al. (2013) などの既存手法と比較して、$σ^2$ の推定精度を向上させること。
• モデル選択下での多重仮説検定において、頑健な誤り発見率（FDR）制御を可能にすること。

提案手法

• スケールフリーな性質により、ノイズレベル $σ^2$ に依存しないチューニングパラメータ $λ$ を有する平方根LASSOをモデル選択手順として採用する。
• 選択事象を特徴づけ、選択的仮説検定フレームワークを定義するために、平方根LASSOのKarush-Kuhn-Tucker（KKT）条件を導出する。
• Fithian et al. (2014) の選択的仮説検定フレームワークを適用し、選択されたモデルおよび符号に条件づけた有効なp値と信頼区間を構築する。
• テスト統計量の選択的分布下での分布を、分散が $σ_P^2(y)$ で推定された切り捨て正規分布またはt分布を用いて近似する。
• 帰無仮説下で補助的（ancillary）であるとされる残差ベクトル $U_{-E}(y)$ を用いて、回帰診断および適合度検定を実施する。
• 得られたp値にBenjamini-Hochberg手順を適用し、多重仮説検定におけるFDR制御を実現する。

実験結果

リサーチクエスチョン

• RQ1 誤差分散 $σ^2$ が未知で、モデル選択に使用した同一のデータから推定しなければならない場合、選択的仮説検定を信頼性を持って実行できるか？
• RQ2 平方根LASSOは、$σ^2$ に依存しないチューニングを有することにより、係数と $σ^2$ の両方について有効な推論を同時に可能にするか？
• RQ3 本手法は、高次元設定下で、既存の分散推定手法と比較して推定精度と頑健性に優れているか？
• RQ4 導出されたp値は、モデル選択下での多重検定において、効果的なFDR制御を可能にするか？
• RQ5 本手法は、チューニングパラメータ $λ$ や設計相関 $ρ$ の変動に対して、どれほど頑健か？

主な発見

• 提案手法は、$σ^2$ が未知であっても、モデル選択後の回帰係数について有効なp値と信頼区間を生成する。
• 平方根LASSOのチューニングパラメータ $λ$ は $σ^2$ に依存しないため、安定的かつスケールフリーなモデル選択が可能である。
• シミュレーションにより、Sun & Zhang (2011) や Reid et al. (2013) などの既存手法と比較して、$σ^2$ の推定がより正確であることが示された。
• 相関係数 $ρ$ の異なる水準においてもFDR制御が頑健であり、全テスト対象の $ρ$ 値においてFDRが約0.2に維持された。
• 特に高相関設計下では、Barber & Candes (2016) の手法と比較して約20%高い統計的パワーを達成した。
• 正規近似に基づく信頼区間のカバレッジは名目水準（例：95%区間が94.7%の頻度で真の値を含む）に近く、近似の妥当性が裏付けられた。