[論文レビュー] On the Prediction Performance of the Lasso

Arnak S. Dalalyan, Mohamed Hebiri+1 more|RePEc: Research Papers in Economics|Feb 7, 2014

Statistical Methods and Inference被引用数 14

ひとこと要約

本稿は、高次元線形回帰におけるlassoの予測性能に関する新しい理論的知見を提供し、チューニングパラメータに計算可能な相関尺度を組み込むことで、高い相関がある状況でもほぼ最適な性能が達成できることを示している。また、中程度に相関する予測変数では、チューニングパラメータの選択にかかわらず予測性能が芳しくないことが明らかになり、全変動罰則を施した最小二乗推定量についてもほぼ最適な収束速度が確立された。

ABSTRACT

Although the Lasso has been extensively studied, the relationship between its prediction performance and the correlations of the covariates is not fully understood. In this paper, we give new insights into this relationship in the context of multiple linear regression. We show, in particular, that the incorporation of a simple correlation measure into the tuning parameter can lead to a nearly optimal prediction performance of the Lasso even for highly correlated covariates. However, we also reveal that for moderately correlated covariates, the prediction performance of the Lasso can be mediocre irrespective of the choice of the tuning parameter. We finally show that our results also lead to near-optimal rates for the least-squares estimator with total variation penalty.

研究の動機と目的

• 高次元線形回帰におけるlassoの予測性能と予測変数の相関の関係を明確化すること。
• lasso性能に及ぼす相関の影響を捉えることのできる、予測変数の幾何の計算可能な尺度の開発。
• この尺度をチューニングパラメータに組み込むことで、高い相関がある状況でもほぼ最適な予測性能が達成されることの証明。
• 特に中程度に相関する予測変数の領域において、チューニングにかかわらずlasso性能が劣悪なままであることが特定され、根本的な限界が明らかになる。
• 最小二乗推定量に全変動罰則を施した場合にも、同様の理論的結果を拡張し、ほぼ最適な収束速度を確立すること。

提案手法

• 対称な凸包とエントロピー数に基づく、予測変数の幾何の新しい計算可能な尺度を導入し、相関構造を捉える。
• 2次錐計画問題（SOCP）を繰り返し解くことで、lassoリスクバウンドの主要な量である適合性係数を求めるための二分法に基づくアルゴリズムを提案。
• 適合性係数を含む区間を繰り返し狭める二分法により、所望の精度に収束することが保証される。
• 各アクティブ集合の符号パターンごとに、予測誤差と非アクティブ成分のl1ノルムを組み合わせた目的関数の最小値を求める制約付き最適化問題を解く。
• 符号パターンの有限な探索を用いて目的関数のグローバル最小値を特定し、適合性係数の効率的計算を可能にする。
• 予測リスクと適合性係数、チューニングパラメータの関係を示すオракル不等式を導出することで、理論的保証を提供。

実験結果

リサーチクエスチョン

• RQ1 予測変数間の相関構造は、高次元線形回帰におけるlassoの予測性能にどのように影響するか？
• RQ2 計算可能な相関幾何の尺度を用いてチューニングパラメータの選択を改善し、ほぼ最適な予測性能を達成できるか？
• RQ3 なぜ中程度に相関する予測変数では、チューニングパラメータの選択にかかわらずlassoの予測性能が芳しくないのか？
• RQ4 lasso推定における適合性係数と予測リスクの関係は何か？
• RQ5 lassoに関する理論的結果を拡張し、全変動罰則を施した最小二乗推定量についても、ほぼ最適な収束速度を導出できるか？

主な発見

• 本稿は、普遍的チューニングパラメータ λ = √(2 log p / n) を用いたlassoが、(log p / n) × rank(X) に比例する予測誤差を達成することを理論的に初めて確認した。これは、経験的仮説の裏付けである。
• チューニングパラメータに計算可能な相関尺度を組み込むことで、高い相関がある状況でもほぼ最適な予測性能が達成され、標準的な普遍的チューニングを上回る性能を示した。
• 中程度に相関する予測変数では、チューニングパラメータの選択にかかわらず、lassoの予測性能は芳しくないことが判明し、根本的な限界が示された。
• 提案された二分法アルゴリズムは、O(log(|T|/ε)) 回の反復で適合性係数を効率的に計算でき、理論的リスクバウンドの実用的応用を可能にした。
• 結果は、全変動罰則を施した最小二乗推定量に対しても拡張され、同じ条件下でほぼ最適な収束速度が確立された。
• 本稿は、線形計画法を用いて適合性係数の下界を評価できることを示し、直接計算に代わる計算的に実行可能な代替手法を提供した。