[論文レビュー] Restricted LASSO and Double Shrinking

Mina Norouzirad, ‎M‎ohammad Arashi+1 more|arXiv (Cornell University)|May 12, 2015

Statistical Methods and Inference参考文献 10被引用数 7

ひとこと要約

本稿では、変数選択と線形制約を組み合わせるための制限付きLASSO推定量と、二重縮小フレームワークを用いた3つのLASSO型推定量を提案する。主な貢献は、漸近的理論と前立腺がんデータ解析を通じて、特に部分空間制約下で、古典的LASSOよりも予測精度とリスクの面で優れていることを示したことである。

ABSTRACT

In the context of multiple regression model, suppose that the vector parameter of interest βis subjected to lie in the subspace hypothesis Hβ= h, where this restriction is based on either additional information or prior knowledge. Then, the restricted estimator performs fairly well than the ordinary least squares one. In addition, when the number of variables is relatively large with respect to observations, the use of least absolute shrinkage and selection operator (LASSO) estimator is suggested for variable selection purposes. In this paper, we deffine a restricted LASSO estimator and configure three classes of LASSO-type estimators to fulfill both variable selection and restricted estimation. Asymptotic performance of the proposed estimators are studied and a simulation is conducted to analyze asymptotic relative efficiencies. The application of our result is considered for the prostate dataset where the expected prediction errors and risks are compared. It has been shown that the proposed shrunken LASSO estimators, resulted from double shrinking methodology, perform better than the classical LASSO.

研究の動機と目的

• 回帰係数に既知の線形制約を組み込むことで推定効率を向上させるLASSO型推定量の開発。
• 高次元設定下でパrameter空間に関する事前知識がある場合に、古典的LASSOの限界を克服すること。
• 制約に基づく縮小とLASSO型の縮小を組み合わせた二重縮小手法の提案により、予測精度を向上させること。
• 正則性条件の下で提案された推定量の漸近的性質を確立すること。
• シミュレーションおよび前立腺がんデータセットへの実世界応用を通じて性能を評価すること。

提案手法

• 線形制約 $ H\boldsymbol{\beta} = \boldsymbol{h} $ を満たすように残差平方和を最小化する制限付きLASSO推定量を、ペナルティ付き尤度枠組みを用いて導出。
• 予備的検定LASSO、スティーブ型縮小LASSO、および制約と縮小を統合する新しい二重縮小制限付きLASSO（PRSL）の3つの推定量クラスを導出。
• Sluskeyの定理と分布収束を用いて、$ \tilde{\boldsymbol{\beta}}_n \to \boldsymbol{\beta} $ の下での漸近的分布理論を適用し、極限分布を導出。
• 古典的LASSOからのチューニングパrameter $ \tilde{\boldsymbol{\beta}}^{L} $ をベースとし、制約を満たすために $ C_n^{-1}H^T(HC_n^{-1}H^T)^{-1} $ を用いた縮小補正を実施。
• LASSOによる縮小と制約に起因する縮小を組み合わせた二重縮小メカニズムを適用し、データ駆動の $ k_n $ と $ \tilde{\boldsymbol{\beta}}^{RL}_n $ で制御。
• 制約の有効性を検定するために尤度比検定を用い、$ I(\tilde{\boldsymbol{\beta}}^{L}_n \text{ が } H\boldsymbol{\beta} = \boldsymbol{h} \text{ を満たす}) $ というインジケータ関数を用いて推定量間を切り替える。

実験結果

リサーチクエスチョン

• RQ1 回帰係数に既知の線形制約を組み込むことで、推定効率を向上させられるようにLASSO推定量を変更できるか？
• RQ2 提案された二重縮小推定量の性能は、予測誤差とリスクの観点で古典的LASSOと比べてどうなるか？
• RQ3 正則性条件の下で、提案された制限付きLASSOおよびその変種の漸近的分布は何か？
• RQ4 制約による事前知識の組み込みが、標準的LASSOと比較して平均二乗誤差を顕著に低減するか？
• RQ5 制約の有効性やサンプルサイズの異なる条件下で、推定量の性能はどのように変化するか？

主な発見

• 提案された二重縮小制限付きLASSO（PRSL）推定量は、前立腺がんデータセットにおいて、古典的LASSOよりも期待予測誤差とリスクが低い。
• 漸近的理論により、制限付きLASSO推定量 $ \tilde{\boldsymbol{\beta}}^{RL}_n $ が、帰無仮説 $ H\boldsymbol{\beta} = \boldsymbol{h} $ の下で一貫性があり、漸近的に正規分布に従うことが確認された。
• スティーブ型縮小LASSO推定量 $ \tilde{\boldsymbol{\beta}}^{SSL}_n $ は、$ k \times \text{argmin}(V) $ を含む縮小補正済み極限に分布収束し、正則性のもとで $ k \to q-2 $ となる。
• 予備的検定LASSO推定量 $ \tilde{\boldsymbol{\beta}}^{PTL}_n $ は、制約が有効な場合には制限付きLASSOに漸近的に近づき、そうでない場合には古典的LASSOに近づく。
• シミュレーション結果から、制約 $ H\boldsymbol{\beta} = \boldsymbol{h} $ が真である場合、提案推定量の漸近的相対効率が顕著に向上することが示された。
• 二重縮小メカニズムにより、制約に基づく縮小とLASSO型の縮小を組み合わせることで、特に $ p $ が $ n $ に対して大きい場合に、分散と予測誤差が効果的に低減された。