[論文レビュー] Statistical estimation and testing via the sorted L1 norm

Małgorzata Bogdan, E. van den Berg+2 more|arXiv (Cornell University)|Oct 7, 2013

Statistical Methods and Inference参考文献 30被引用数 68

ひとこと要約

この論文は、スパース回帰および変数選択のための凸最適化手法であるSLOPE（Sorted L1 Penalized Estimation）を導入する。この手法は、誤り発見率（FDR）を制御するための順序付きL1ノルムペナルティを用いる。適切な正則化シーケンスの設計により、直交設計下でFDR制御が達成され、高次元設定下でラッソより高い検出力（パワー）を示すことが示された。

ABSTRACT

We introduce a novel method for sparse regression and variable selection, which is inspired by modern ideas in multiple testing. Imagine we have observations from the linear model y = X beta + z, then we suggest estimating the regression coefficients by means of a new estimator called SLOPE, which is the solution to minimize 0.5 ||y - Xb\|_2^2 + lambda_1 |b|_(1) + lambda_2 |b|_(2) + ... + lambda_p |b|_(p); here, lambda_1 >= λ_2 >= ... >= λ_p >= 0 and |b|_(1) >= |b|_(2) >= ... >= |b|_(p) is the order statistic of the magnitudes of b. The regularizer is a sorted L1 norm which penalizes the regression coefficients according to their rank: the higher the rank, the larger the penalty. This is similar to the famous BHq procedure [Benjamini and Hochberg, 1995], which compares the value of a test statistic taken from a family to a critical threshold that depends on its rank in the family. SLOPE is a convex program and we demonstrate an efficient algorithm for computing the solution. We prove that for orthogonal designs with p variables, taking lambda_i = F^{-1}(1-q_i) (F is the cdf of the errors), q_i = iq/(2p), controls the false discovery rate (FDR) for variable selection. When the design matrix is nonorthogonal there are inherent limitations on the FDR level and the power which can be obtained with model selection methods based on L1-like penalties. However, whenever the columns of the design matrix are not strongly correlated, we demonstrate empirically that it is possible to select the parameters lambda_i as to obtain FDR control at a reasonable level as long as the number of nonzero coefficients is not too large. At the same time, the procedure exhibits increased power over the lasso, which treats all coefficients equally. The paper illustrates further estimation properties of the new selection rule through comprehensive simulation studies.

研究の動機と目的

• ラッソなどの伝統的なスパース回帰手法の限界に対処する。これらの手法は全係数を同等に扱い、統計的誤差率の制御が欠如している。
• 高次元線形モデルにおける誤り発見率（FDR）を制御する、計算的に効率的な変数選択手法を開発する。
• 複数の仮説検定（例：Benjamini-Hochberg手順）のアイデアとスパース推定における正則化を統合し、より強力で解釈可能な選択ルールを構築する。
• SLOPEが直交設計下でFDR制御を達成でき、予測子の相関が弱い非直交設計下でも妥当なFDR水準を維持することを示す。
• FDRおよび推定精度に関する理論的保証を備えた、高次元回帰に適した凸で取り扱いやすい最適化フレームワークを提供する。

提案手法

• SLOPEを次の凸最適化問題の解法として提案する：最小二乗損失に加え、順序付きL1ペナルティを加えたもの。$\min_b \frac{1}{2}\|y - Xb\|_2^2 + \sum_{i=1}^p \lambda_i |b|_{(i)}$。ここで、$|b|_{(i)}$ は係数の絶対値のi番目に大きい値を表す。
• 正則化パラメータの減少列 $\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p$ を用い、ペナルティが係数の絶対値の順位に依存するように設計する。
• 正則化シーケンスを $\lambda_i = F^{-1}(1 - q_i)$ と設計し、$q_i = i q / (2p)$ として、直交設計下でi.i.d.対称誤差のもとでFDR制御を達成する。
• プロキシマル演算子とソフトスリッティングに基づく効率的なアルゴリズムを実装し、高次元問題へのスケーラビリティを実現する。
• 予測子の相関が低い場合に限って、非直交設計への拡張を実証的に検証し、FDR制御が依然として可能であることを示す。
• シミュレーションスタディを用いて、SLOPEの推定精度および変数選択性能をラッソや他のスパース性誘導手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 スパース回帰における誤り発見率（FDR）制御を達成するために、順序付きL1ペナルティを用いることは可能か？
• RQ2 同じFDR水準下で、SLOPEの非ゼロ係数検出の検出力はラッソに比べてどう異なるか？
• RQ3 設計行列の相関構造が、SLOPEにおけるFDR制御および推定精度に与える影響は何か？
• RQ4 正則化シーケンス $\lambda_i$ をデータから適応的に選択することで、FDR制御および選択のパワーを向上させられるか？
• RQ5 SLOPEは $p \gg n$ の高次元設定において、計算的に実行可能で安定的か？

主な発見

• 正則化シーケンスを $\lambda_i = F^{-1}(1 - iq/(2p))$ と設定した場合、直交設計下でSLOPEはFDRを水準 $q$ で制御する。ここで $F$ は誤差分布関数である。
• 直交設計下では、i.i.d.対称かつ連続誤差のもとでSLOPEはFDR制御を達成でき、Benjamini-Hochberg手順と理論的に一致する保証が得られる。
• シミュレーションスタディにおいて、SLOPEは特に非ゼロ係数の数が少ないが信号強度がばらつく状況で、ラッソよりも高い統計的パワーを示す。
• 予測子の相関が弱い非直交設計下では、SLOPEは妥当なFDR制御を維持し、ラッソに比べてより優れた選択精度を示す。
• SLOPEアルゴリズムは計算的に効率的であり、プロキシマル法とソフトスリッティングを活用することで、高次元回帰問題のスケーラブルな解法が可能である。
• 実証的結果から、SLOPEは非直交設定下でも、非ゼロ係数の数が多すぎない限り、目標FDR水準（例：$q=0.1$）を達成できるようにチューニング可能であることが示された。