[論文レビュー] Which bridge estimator is optimal for variable selection?

Shuaiwen Wang, Haolei Weng+1 more|arXiv (Cornell University)|May 24, 2017

Statistical Methods and Inference参考文献 56被引用数 13

ひとこと要約

本稿は、予測子の数 $ p $ が標本サイズ $ n $ に比例して増加する高次元線形モデルにおいて、2段階変数選択（TVS）をブリッジ推定量を用いて調査する。この研究では、漸近的誤発見率（AFDP）が、最初の段階におけるブリッジ推定量の漸近的平均二乗誤差（AMSE）が最小である場合に最小化されることを確立し、高ノイズ環境下ではリッジ回帰がリッジ回帰を上回ること、また、まれで弱い信号に対してはリッジ回帰が最適でないことが示された。

ABSTRACT

We study the problem of variable selection for linear models under the high-dimensional asymptotic setting, where the number of observations $n$ grows at the same rate as the number of predictors $p$. We consider two-stage variable selection techniques (TVS) in which the first stage uses bridge estimators to obtain an estimate of the regression coefficients, and the second stage simply thresholds this estimate to select the "important" predictors. The asymptotic false discovery proportion (AFDP) and true positive proportion (ATPP) of these TVS are evaluated. We prove that for a fixed ATPP, in order to obtain a smaller AFDP, one should pick a bridge estimator with smaller asymptotic mean square error in the first stage of TVS. Based on such principled discovery, we present a sharp comparison of different TVS, via an in-depth investigation of the estimation properties of bridge estimators. Rather than "order-wise" error bounds with loose constants, our analysis focuses on precise error characterization. Various interesting signal-to-noise ratio and sparsity settings are studied. Our results offer new and thorough insights into high-dimensional variable selection. For instance, we prove that a TVS with Ridge in its first stage outperforms TVS with other bridge estimators in large noise settings; two-stage LASSO becomes inferior when the signal is rare and weak. As a by-product, we show that two-stage methods outperform some standard variable selection techniques, such as LASSO and Sure Independence Screening, under certain conditions.

研究の動機と目的

• 高次元線形モデルにおける変数選択性能が最良となるブリッジ推定量を特定すること。
• 信号対ノイズ比（SNR）およびスパarsityが最適なブリッジ推定量の選択に与える影響を分析すること。
• 最初の段階での推定精度（AMSE）と2番目の段階での変数選択性能（AFDP、ATPP）との間の原理的関係を確立すること。
• TVSをリッジ回帰やSISなどの標準的手法と比較し、漸近的高次元スケーリング下での性能を評価すること。

提案手法

• 本研究は2段階変数選択（TVS）フレームワークを採用する：まず、$ \ell_q $-正則化最小二乗法によりブリッジ推定量 $ \hat{\beta}(q,\lambda) $ を算出する。次に、推定量をハードスレッショルド処理して変数を選択する。
• 高次元漸近的スケーリング $ n/p \to \delta \in (0,\infty) $ の下で、漸近的誤発見率（AFDP）および真陽性率（ATPP）を導出する。
• 緩いオーダーの境界を避けるために、ブリッジ推定量の平均二乗誤差（AMSE）の精密な漸近的特徴づけに依拠する。
• 確率的行列理論および近似メッセージパッシング（AMP）の道具を用いて、推定量およびスレッショルド処理後の出力の漸近的分布を導出する。
• 最適なブリッジ推定量は、最初の段階でAMSEを最小化するものであり、これは固定されたATPP下でAFDPを最小化することに繋がる。
• 本フレームワークは、まれな信号、大きなノイズ、大きな標本サイズの3つの主要な状況に適用され、それぞれについて解析的結果が得られている。

実験結果

リサーチクエスチョン

• RQ1 高次元変数選択において、どのブリッジ推定量が漸近的誤発見率（AFDP）を最小化するか？
• RQ2 特に信号対ノイズ比が低い、または信号がまれな状況下で、リッジ回帰は他のブリッジ推定量に基づく2段階手法を上回るのか？
• RQ3 信号対ノイズ比（SNR）は、ブリッジパラメータ $ q $ の最適選択にどのように影響するか？
• RQ4 どのような条件下で2段階手法がリッジ回帰やSISなどの標準的手法を上回るのか？
• RQ5 最初の段階におけるブリッジ推定量の推定誤差（AMSE）と変数選択性能（AFDP、ATPP）との間の明確な関係は何か？

主な発見

• 高ノイズ環境下では、リッジ回帰（$ q=2 $）がすべてのブリッジ推定量の中で最適であり、これは漸近的平均二乗誤差（AMSE）を最小化するからである。
• まれで弱い信号に対してはリッジ回帰（$ q=1 $）は著しく劣る。信号強度が臨界閾値未満の場合、$ q>1 $ の他のブリッジ推定量がリッジ回帰を上回る可能性がある。
• ある種の高次元漸近的スケーリング下では、ブリッジ推定量に基づく2段階手法が、リッジ回帰やSISなどの標準的手法を上回る。
• 変数選択の最適なブリッジ推定量は、最初の段階でAMSEが最小であるものであり、推定精度と選択性能との間の直接的な関係を確立する。
• 大標本スケーリング下では、結果は古典的な低次元漸近的理論と整合しており、高次元フレームワークの一貫性が裏付けられる。
• TVSのAFDPおよびATPPは、スレッショルド処理後の推定量の漸近的分布を用いて正確に特徴づけられており、異なるブリッジ推定量間での正確な比較が可能になる。