[論文レビュー] Efficient algorithm to select tuning parameters in sparse regression modeling with regularization

Kei Hirose, Shohei Tateishi+1 more|arXiv (Cornell University)|Sep 12, 2011

Statistical Methods and Inference参考文献 29被引用数 8

ひとこと要約

本稿では、正則化を伴うスパース回帰における自由度を計算するための効率的なアルゴリズムを提案する。一般化パスサーチング法を拡張し、広範な凸および非凸ペナルティに対応可能にする。$C_p$-型のモデル選択を正確かつ計算的に効率的に行えるようにすることで、高価な交差検証に依存せずにチューニングパラメータの選択を改善し、シミュレーションおよび実データにおいて優れた性能を示す。

ABSTRACT

In sparse regression modeling via regularization such as the lasso, it is important to select appropriate values of tuning parameters including regularization parameters. The choice of tuning parameters can be viewed as a model selection and evaluation problem. Mallows' $C_p$ type criteria may be used as a tuning parameter selection tool in lasso-type regularization methods, for which the concept of degrees of freedom plays a key role. In the present paper, we propose an efficient algorithm that computes the degrees of freedom by extending the generalized path seeking algorithm. Our procedure allows us to construct model selection criteria for evaluating models estimated by regularization with a wide variety of convex and non-convex penalties. Monte Carlo simulations demonstrate that our methodology performs well in various situations. A real data example is also given to illustrate our procedure.

研究の動機と目的

• 正則化を伴うスパース回帰モデルにおける最適なチューニングパラメータの選択という課題に対処すること。
• さまざまな凸および非凸ペナルティに対して自由度を計算的に効率的に推定する手法を開発すること。
• 計算コストの高い交差検証に依存せずに、Mallowsの$C_p$-型基準を用いた正確なモデル選択を可能にすること。
• 一般化パスサーチングアルゴリズムを拡張し、正則化パスにおける自由度計算を可能にすること。

提案手法

• 本手法は、一般化パスサーチングアルゴリズムを拡張し、正則化パスに沿って自由度を繰り返し計算する。
• 各ステップでの部分勾配情報を用いて、自由度推定を線形計画問題として定式化する。
• 係数パスの単調性を活用することで、各チューニングパラメータ値に対して繰り返し数値最適化を実行する必要を回避する。
• lasso、グループlasso、ミニマックス凹型ペナルティなどの微分不能なペナルティを扱うために再パラメータ化戦略を用いる。
• ブートストラップや交差検証を回避して、$C_p$-型基準のための自由度を直接計算可能にする。
• 一般化されたリッジペナルティおよび複合絶対ペナルティを含め、凸および非凸ペナルティの両方に対応可能である。

実験結果

リサーチクエスチョン

• RQ1 スパース回帰における広範な正則化ペナルティクラスに対して、自由度を効率的かつ正確に推定できるか？
• RQ2 計算コストとモデル選択の正確性の観点から、本手法は交差検証と比較してどうなるか？
• RQ3 推定された自由度に基づく$C_p$-型基準は、高次元設定において従来のモデル選択手法を上回る性能を示せるか？
• RQ4 本手法は、非凸ペナルティを含む多様なペナルティ構造に対しても安定性と正確性を維持できるか？

主な発見

• 提案手法は、lasso、グループlasso、ミニマックス凹型ペナルティを含む、広範な凸および非凸ペナルティにおいて、高速かつ安定した自由度推定を可能にする。
• モンテカルロシミュレーションの結果、推定自由度に基づく$C_p$基準が、予測精度と計算効率の両面で交差検証を上回ることが示された。
• 繰り返し最適化を必要としないため、計算コストを顕著に低減し、正確なチューニングパラメータの選択が実現された。
• 高次元および相関のある設計を含む多様なデータ生成シナリオにおいて、本手法は頑健な性能を維持した。
• 実データ解析により、本手法の実用的有用性が確認され、信頼性の高い変数選択と予測性能が示された。