[論文レビュー] When Does More Regularization Imply Fewer Degrees of Freedom? Sufficient Conditions and Counter Examples from Lasso and Ridge Regression

Shachar Kaufman, Saharon Rosset|arXiv (Cornell University)|Nov 12, 2013

Statistical Methods and Inference被引用数 5

ひとこと要約

この論文は、正則化を強化すると回帰モデルの自由度が減少するという一般的な仮定に挑戦する。理論的分析と反例を用いて、lasso回帰およびリッジ回帰において、より高い正則化が逆に自由度と楽観的さ（optimism）を増加させるという逆説的現象を示し、正則化の根幹的な根拠を揺るがす。しかし、対称的線形スムージングと凸制約付き線形回帰の2つの状況では、自由度の単調減少が保証されることを同定する。

ABSTRACT

Regularization aims to improve prediction performance of a given statistical modeling approach by moving to a second approach which achieves worse training error but is expected to have fewer degrees of freedom, i.e., better agreement between training and prediction error. We show here, however, that this expected behavior does not hold in general. In fact, counter examples are given that show regularization can increase the degrees of freedom in simple situations, including lasso and ridge regression, which are the most common regularization approaches in use. In such situations, the regularization increases both training error and degrees of freedom, and is thus inherently without merit. On the other hand, two important regularization scenarios are described where the expected reduction in degrees of freedom is indeed guaranteed: (a) all symmetric linear smoothers, and (b) linear regression versus convex constrained linear regression (as in the constrained variant of ridge regression and lasso).

研究の動機と目的

• 正則化回帰モデルにおいて、正則化を強化すると自由度が一貫して減少するかどうかを調査すること。
• より高い正則化が楽観的さを低下させ、一般化性能を向上させると広く信じられている考えを疑うこと。
• 正則化が自由度を減少させる十分条件を特定し、その逆に自由度が減少しないケースを明らかにすること。
• lassoおよびリッジ回帰において、より高い正則化が訓練誤差と自由度の両方を増加させる反例を提示すること。
• 正則化とともに楽観的さが単調に減少する理論的条件を明確にすること。

提案手法

• 射影写像を用いて正則化のネスティングを形式化し、楽観的さと有効自由度に基づいて自由度の単調性を定義する。
• Steinの補題を用いて、自由度を観測データに対する予測関数のヤコビ行列のトレースとして表現する。
• ネストされた部分空間への射影写像のヤコビアン成分を分析し、予測値の入力摂動に対する感度を比較する。
• 凸集合への射影の非拡張性を適用して、データ摂動がモデル出力に与える影響を制限する。
• ヤコビアンのトレース（すなわち自由度）が正則化を強化するにつれて減少する十分条件を導出する。
• lassoおよびリッジ回帰において、より高い正則化が自由度と楽観的さを増加させる明示的な反例を構築する。

実験結果

リサーチクエスチョン

• RQ1 lassoおよびリッジ回帰において、正則化を強化すると自由度が常に減少するのか？
• RQ2 どのような条件下で正則化が楽観的さと自由度を増加させ、理論的期待とは逆転するのか？
• RQ3 自由度の正則化に伴う単調減少が保証される一般的なモデルクラスは何か？
• RQ4 なぜ従来の直感（正則化により自由度を低下させ、過学習を軽減する）が、lassoおよびリッジ回帰では成立しないのか？
• RQ5 正則化モデルの楽観的さが、より少ない正則化のモデルよりも高くなることはあり得るのか？ もしあるなら、どのような条件下で起こるのか？

主な発見

• lassoおよびリッジ回帰において、正則化を強化すると自由度と楽観的さが上昇する反例が存在し、標準的な仮定と矛盾する。
• 対称的線形スムージングでは、正則化を強化すると自由度が単調に減少することが保証される。
• 凸制約付き線形回帰（例：制約付きリッジ回帰や制約付きlasso）でも、正則化により自由度が単調に減少することが保証される。
• モデルの楽観的さは正則化パラメータに関して必ずしも単調ではない。より高い正則化が楽観的さを増加させることがある。
• 訓練誤差が増加する中でさえ、ヤコビアン行列のトレース（有効自由度）が正則化に伴い増加する場合があり、そのような正則化は効果を発揮しない。
• ネストされた正則化モデルの自由度が正則化を強化するにつれて単調に減少する理論的条件が導出された。