[論文レビュー] A Survey of Tuning Parameter Selection for High-dimensional Regression

Yunan Wu, Lan Wang|arXiv (Cornell University)|Aug 10, 2019

Statistical Methods and Inference参考文献 70被引用数 7

ひとこと要約

本調査は、高次元の罰則付き回帰におけるチューニングパラメータ選択手法を、Lassoおよびその変種に焦点を当ててレビューする。予測精度とサポート回復の戦略を評価し、交差検証、BIC、データ駆動型手法を比較し、チューニングフリーの代替手法についても論じ、高次元統計分野の研究者に対する理論的知見と実用的ガイダンスを提供する。

ABSTRACT

Penalized (or regularized) regression, as represented by Lasso and its variants, has become a standard technique for analyzing high-dimensional data when the number of variables substantially exceeds the sample size. The performance of penalized regression relies crucially on the choice of the tuning parameter, which determines the amount of regularization and hence the sparsity level of the fitted model. The optimal choice of tuning parameter depends on both the structure of the design matrix and the unknown random error distribution (variance, tail behavior, etc). This article reviews the current literature of tuning parameter selection for high-dimensional regression from both theoretical and practical perspectives. We discuss various strategies that choose the tuning parameter to achieve prediction accuracy or support recovery. We also review several recently proposed methods for tuning-free high-dimensional regression.

研究の動機と目的

• 高次元罰則付き回帰におけるチューニングパラメータ選択手法、特にLassoおよびその変種について、体系的なレビューを提供すること。
• 交差検証、BIC、データ駆動型手法を含む、さまざまなチューニングパラメータ選択戦略の理論的および実用的パフォーマンスを検討すること。
• 高次元設定における予測精度とサポート回復（変数選択の一貫性）のトレードオフを評価すること。
• チューニングパラメータ選択の必要性を排除するチューニングフリーの高次元回帰手法における最近の発展を議論すること。
• 研究者の目的（予測、変数選択、計算効率）に応じて適切なチューニング戦略を選択するためのガイダンスを提供すること。

提案手法

• 正則化最小二乗問題の解法としてのLasso推定量をレビュー：$\min_{\bm{\beta}} \left\{ \frac{1}{2n}||\mathbf{y} - \mathbf{X}\bm{\beta}||^2 + \lambda||\bm{\beta}||_1 \right\}$、ここで$\lambda$はスパarsityを制御する。
• 交差検証（CV）をデータ駆動型のチューニングパラメータ選択手法として分析し、特に10分割交差検証を対象とし、誤差分布および尾部の挙動に依存する性能を検討する。
• モデル選択のための情報基準（BICおよび拡張BIC）を検討し、正則性条件の下での理論的一貫性を含む。
• 誤差分散のデータ駆動型推定を用いるスケーリングLassoおよび$\sqrt{\mbox{Lasso}}$手法を議論し、チューニングの安定性を向上させる。
• ベルノイとチェルノゾフが応用した、分位数回帰におけるチューニングパラメータ選択のための分位数スコア関数のピボット性を検討する。
• 拡張BIC型基準の多様なモデル（分位数回帰、SVM、半パラメトリックモデル、パネルデータなど）への適用をレビューし、理論的一貫性結果を提示する。

実験結果

リサーチクエスチョン

• RQ1 さまざまなチューニングパラメータ選択手法（例：交差検証、BIC、データ駆動型）が、高次元回帰における予測誤差とサポート回復の観点でどのように性能を発揮するか。
• RQ2 誤差分布（例：重尾、正規分布でない）が、交差検証やスケーリングLassoなどのチューニングパラメータ選択手法の性能に与える影響は何か。
• RQ3 拡張BIC型基準が高次元モデルで変数選択の一貫性を達成する条件は何か。
• RQ4 $\sqrt{\mbox{Lasso}}$ やスケーリングLassoといったチューニングフリー手法は、交差検証を用いた伝統的なLassoと比較して、スパarsityおよび予測精度の観点でどのように異なるか。
• RQ5 最適な予測のためのオラクルチューニングパラメータが、高次元グラフィカルモデルにおける一貫性のある近隣選択を保証しない理由は何か。

主な発見

• S&P 500データにおいて、Lassoと$\sqrt{\mbox{Lasso}}$は類似した予測性能を示すが、Lassoはよりスパースなモデルを生成する（平均スパarsity：60.03 対 76.63）。
• スケーリングLassoは、より高い予測誤差（L2誤差：0.08 対 0.05）と大きなモデルサイズを示すが、これは非正規誤差分布がそのデフォルトチューニング手法に影響を与えている可能性がある。
• 交差検証は依然として広く使われており効果的であるが、誤差分布および尾部挙動に敏感である。
• 拡張BIC型基準は、高次元モデルにおける変数選択の一貫性を理論的に示しており、分位数回帰や半パラメトリックモデルにも適用可能である。
• 分位数スコア関数のピボット性により、ベルノイとチェルノゾフが示すように、罰則付き分位数回帰における一貫性のあるチューニングパラメータ選択が可能になる。
• マインシャウゼンとビュルマン（2006年）は、予測のためのオラクルチューニングパラメータが、一貫性のある近隣選択を保証しないことを示しており、予測と変数選択の目的の間の重要な理論的差異を浮き彫りにしている。