[論文レビュー] Path Following and Empirical Bayes Model Selection for Sparse Regression

Hua Zhou, Artin Armagan+1 more|arXiv (Cornell University)|Jan 17, 2012

Statistical Methods and Inference参考文献 33被引用数 12

ひとこと要約

本稿では、任意の凸損失関数と広範なペナルティ関数（非凸を含む）を伴うスパース回帰に対して、通常微分方程式（ODE）を用いた解の経路追跡により、非常に効率的なパスフォローリングアルゴリズムを提案する。さらに、交差検証を経由せずに最適なチューニングパラメータを迅速に特定できる、経験ベイズ的手法を提案し、高次元一般化線形モデル（GLMs）における高速で安定的かつスケーラブルなモデル選択を実現する。

ABSTRACT

In recent years, a rich variety of regularization procedures have been proposed for high dimensional regression problems. However, tuning parameter choice and computational efficiency in ultra-high dimensional problems remain vexing issues. The routine use of $\ell_1$ regularization is largely attributable to the computational efficiency of the LARS algorithm, but similar efficiency for better behaved penalties has remained elusive. In this article, we propose a highly efficient path following procedure for combination of any convex loss function and a broad class of penalties. From a Bayesian perspective, this algorithm rapidly yields maximum a posteriori estimates at different hyper-parameter values. To bypass the inefficiency and potential instability of cross validation, we propose an empirical Bayes procedure for rapidly choosing the optimal model and corresponding hyper-parameter value. This approach applies to any penalty that corresponds to a proper prior distribution on the regression coefficients. While we mainly focus on sparse estimation of generalized linear models, the method extends to more general regularizations such as polynomial trend filtering after reparameterization. The proposed algorithm scales efficiently to large $p$ and/or $n$. Solution paths of 10,000 dimensional examples are computed within one minute on a laptop for various generalized linear models (GLM). Operating characteristics are assessed through simulation studies and the methods are applied to several real data sets.

研究の動機と目的

• 超高次元スパース回帰における既存の正則化手法の計算非効率性とチューニングパラメータへの感受性を解消すること。
• チューニングパラメータ選択における交差検証の限界を克服し、より高速で安定的な経験ベイズ代替手法を提案すること。
• ODEに基づく解の経路追跡を活用することで、非凸ペナルティ関数を含む広範なペナルティ関数に適用可能な汎用的でスケーラブルなパスフォローリングアルゴリズムの開発。
• ペナルティ族のベイズ的解釈を活用し、ハイパーパrameter値の変動にわたる効率的な最大後確信度推定（MAP推定）を可能にすること。
• 再パラメータライゼーションを用いて、標準ラッソの範囲を越えたより複雑な正則化（例：多項式トレンドフィルタリング）への適用を拡張すること。

提案手法

• スパース回帰問題を、対称的かつ微分可能で、やや緩い正則性条件を満たすペナルティ関数と凸損失関数の和を最小化する問題として定式化する。
• チューニングパラメータ ρ の変化に伴い解の経路を滑らかに追跡するODEベースのパスフォローリングアルゴリズムを用い、他のパスアルゴリズムで一般的な固定ステップサイズの問題を回避する。
• 非凸ペナルティを扱うために、逐次的に凹関数ペナルティを接線超平面で近似する主要化最小化（MM）原理を適用し、ラッソに類似した部分問題の系列に還元する。
• 解の経路に基づく周辺尤度推定を最大化することで最適なモデルとチューニングパラメータを選択する経験ベイズ手順を導出。交差検証を回避する。
• パスフォローリングフレームワーク内での繰り返し加重最小二乗法（IRWLS）の適用により、一般化線形モデル（GLMs）への適用を可能にする。
• 非標準的な正則化（例：三次トレンドフィルタリング）を再パラメータライズすることで、フレームワークに統合し、標準ペナルティの範囲を超えた適用可能性を拡張する。

実験結果

リサーチクエスチョン

• RQ1 任意の凸損失関数と広範なペナルティ関数（非凸を含む）を伴うスパース回帰に対して、汎用的かつ効率的なパスフォローリングアルゴリズムを開発可能か？
• RQ2 計算コストの高い交差検証に依存せずに、効率的かつ安定的にモデル選択を実行する方法は何か？
• RQ3 提案された経験ベイズ手順は、AIC/BIC や交差検証といった従来手法に比べ、速度および精度の面でどの程度優れているか？
• RQ4 さまざまなシミュレーション設定下で、ラッソや非凸パワーペナルティ（例：η = 0.25, 0.5）などの異なるペナルティタイプは、偽陽性率（FPR）・偽陰性率（FNR）および推定誤差においてどのように比較されるか？
• RQ5 再パラメータライズを用いることで、パスフォローリングフレームワークを多項式トレンドフィルタリングのような複雑な正則化に拡張可能か？

主な発見

• 標準のラップトップ上で10,000次元のGLMについて、パスフォローリングアルゴリズムが1分未塔で解の経路を計算し、高いスケーラビリティを示した。
• 経験ベイズモデル選択は、ラッソに比べ優れたモデル選択性能を示し、あらゆるGLMタイプで偽陽性率（FPR）が低く抑えられ、平均二乗誤差（MSE）は同等またはより良好であった。
• 非凸ペナルティ（例：η = 0.25, 0.5）は、常にラッソ（η = 1）よりも低いFPRを示し、偽陽性の制御が優れている一方で、偽陰性率（FNR）は低く保たれた。
• ロジスティック回帰では、非凸ペナルティ（η = 0.25, 0.5, 0.75）がパスフォローリングプロセスにおける早期完全分離のおかげで、ラッソよりも高速な実行時間を達成した。
• 経験ベイズ手順は、交差検証の代替として安定的かつ迅速な代替手段を提供し、設定によっては実行時間に顕著な差異（中央値 ~50秒）が見られたが、依然として実用的であった。
• 再パラメータライズを用いて、立方体トレンドフィルタリングのような非標準的正則化にも成功して適用可能であり、M&Aデータセットを用いた実証でその有効性が示された。