[論文レビュー] A Differentiable Alternative to the Lasso Penalty

Hamed Haselimashhadi, Veronica Vinciotti|arXiv (Cornell University)|Sep 16, 2016

Statistical Methods and Inference参考文献 21被引用数 4

ひとこと要約

この論文では、スパarsityを維持しながら滑らかな最適化を可能にするlasso正則化の微分可能代替手法dlassoを紹介する。絶対値を誤差関数で近似することで、dlassoはゼロにおける2回微分可能性を保証し、非線形モデルにおける効率的な計算と正確な自由度推定に不可欠である。シミュレーションおよび実データにおいて、lassoやリッジ・ネットと同等の性能を達成している。

ABSTRACT

Regularized regression has become very popular nowadays, particularly on high-dimensional problems where the addition of a penalty term to the log-likelihood allows inference where traditional methods fail. A number of penalties have been proposed in the literature, such as lasso, SCAD, ridge and elastic net to name a few. Despite their advantages and remarkable performance in rather extreme settings, where $p \gg n$, all these penalties, with the exception of ridge, are non-differentiable at zero. This can be a limitation in certain cases, such as computational efficiency of parameter estimation in non-linear models or derivation of estimators of the degrees of freedom for model selection criteria. With this paper, we provide the scientific community with a differentiable penalty, which can be used in any situation, but particularly where differentiability plays a key role. We show some desirable features of this function and prove theoretical properties of the resulting estimators within a regularized regression context. A simulation study and the analysis of a real dataset show overall a good performance under different scenarios. The method is implemented in the R package DLASSO freely available from CRAN.

研究の動機と目的

• 非線形モデルやモデル選択基準において、lassoのような非微分可能正則化の限界を解消すること。
• スパarsityや変数選択といった望ましい性質を維持しつつ、ゼロで微分可能である正則化関数の開発。
• 1つのチューニングパラメータでl1およびl2正則化を同時に近似できる、lassoおよびリッジの柔軟な代替手法の提供。
• 滑らかな最適化を活用して、正則化回帰における効率的なパラメータ推定と正確な自由度推定の実現。
• シミュレーション研究および実世界のデータ解析を通じて、本手法の頑健性と競争力の実証。

提案手法

• 新しい正則化関数の提案：$ p(x,s) = x \cdot \text{erf}\left(\frac{x}{s}\right) $、ここで$ \text{erf} $は誤差関数、$ s > 0 $はチューニングパラメータ。
• 誤差関数を用いた構成により、ゼロを含むすべての点で2回微分可能であることを保証。
• 漸近的性質$ \lim_{s \to 0} p(x,s) = |x| $を用いて、$ s \to 0 $のとき正則化関数がlassoに収束し、$ s \to \infty $のときリッジに収束することを可能に。
• 正則化関数の微分可能性を活用した効率的な最適化アルゴリズムの実装により、正則化回帰における高速収束を実現。
• CRANに公開されたRパッケージDLASSOに本手法を統合し、チューニング可能な$ s $値と固定$ s $値の両方をサポート。
• クロスバリデーションおよびBICを用いて、dlassoとlasso、リッジ、SCAD、リッジ・ネット、OLSの比較を実施。

実験結果

リサーチクエスチョン

• RQ1 スパarsityと変数選択を維持しつつ、lasso正則化を近似できる微分可能正則化関数を構築できるか？
• RQ2 高次元設定において、非微分可能正則化（lassoやSCAD）と比較して、微分可能dlasso正則化の性能はどのようにか？
• RQ3 正則化関数の微分可能性が、非線形モデルや自由度推定における計算効率をどの程度向上させるか？
• RQ4 多様なシミュレーション状況および実世界のデータにおいて、dlasso手法は予測および推定精度を競争的に維持できるか？
• RQ5 パラメータ$ s $のチューニングにより、dlasso正則化がlassoとリッジの挙動を効果的に補間できるか？

主な発見

• dlasso正則化は、ゼロを含むすべての点で2回微分可能であり、滑らかな最適化と正確な自由度推定を可能にする。
• すべてのシミュレーション状況において、dlasso手法は予測および推定誤差の性能がlassoおよびリッジ・ネットと同等である。
• 前立腺がんデータセットにおいて、$ s = 0.001 $のdlassoはlassoおよびリッジ・ネットと同一の5つの予測変数を選択し、OLSおよびリッジより優れたBICを達成した。
• $ s = 1 $のdlassoはリッジに類似した結果を生み、$ s = 100 $ではOLSに近づく結果となり、正則化行動の柔軟性を裏付けた。
• シミュレーションスタディでは、dlassoが平均二乗誤差の観点でリッジおよびSCADを上回り、lassoおよびリッジ・ネットと同等またはそれを上回ることを示した。
• 対数近似法（式5）は最適化において不安定であったため、後続のシミュレーションから除外され、dlassoアプローチの頑健性が強調された。