[논문 리뷰] When Does More Regularization Imply Fewer Degrees of Freedom? Sufficient Conditions and Counter Examples from Lasso and Ridge Regression

Shachar Kaufman, Saharon Rosset|arXiv (Cornell University)|2013. 11. 12.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 일반적으로 정규화가 회귀 모델의 자유도를 감소시킨다는 가정을 도전한다. 이론적 분석과 반례를 통해 라소 및 리지 회귀에서 더 높은 정규화가 오히려 자유도와 낙관도를 증가시킬 수 있음을 보여주며, 정규화의 핵심 이론적 근거를 뒤흔든다. 그러나 대칭 선형 스무딩과 볼록 제약 조건이 붙은 선형 회귀의 두 경우에서는 자유도의 단조 감소가 보장된다는 것을 밝혀낸다.

ABSTRACT

Regularization aims to improve prediction performance of a given statistical modeling approach by moving to a second approach which achieves worse training error but is expected to have fewer degrees of freedom, i.e., better agreement between training and prediction error. We show here, however, that this expected behavior does not hold in general. In fact, counter examples are given that show regularization can increase the degrees of freedom in simple situations, including lasso and ridge regression, which are the most common regularization approaches in use. In such situations, the regularization increases both training error and degrees of freedom, and is thus inherently without merit. On the other hand, two important regularization scenarios are described where the expected reduction in degrees of freedom is indeed guaranteed: (a) all symmetric linear smoothers, and (b) linear regression versus convex constrained linear regression (as in the constrained variant of ridge regression and lasso).

연구 동기 및 목표

• 정규화된 회귀 모델에서 더 높은 정규화가 자유도를 일관되게 감소시키는지 조사한다.
• 더 높은 정규화가 낙관도를 낮추고 일반화 성능을 향상시킨다는 널리 퍼진 믿음을 도전한다.
• 정규화가 자유도를 감소시키는 데 충분한 조건을 규명하고, 그러한 감소가 이루어지지 않는 경우를 드러낸다.
• 라소 및 리지 회귀에서 더 높은 정규화가 훈련 오차와 자유도를 모두 증가시키는 반례를 제시한다.
• 정규화에 따라 정규화된 모델의 낙관도가 단조롭게 감소하는 이론적 조건을 명확히 한다.

제안 방법

• 투사 사상에 의한 정규화의 포함관계를 수식화하고, 낙관도와 효과적 자유도를 기반으로 자유도의 단조성 정의를 내린다.
• 스테인의 보조정리를 사용하여 자유도를 관측 데이터에 대한 예측 함수의 야코비안 행렬의 트레이스로 표현한다.
• 중첩된 부분공간 위로의 투사 사상의 야코비안 성분을 분석하여 입력 변화에 대한 예측의 민감도를 비교한다.
• 볼록 집합 위로의 투사의 비확장 성질을 적용하여 데이터 변화가 모델 출력에 미치는 영향을 제한한다.
• 자기의 자유도(즉, 야코비안 행렬의 트레이스)가 정규화가 증가함에 따라 감소하는 데 필요한 충분조건을 도출한다.
• 라소 및 리지 회귀에서 더 높은 정규화가 자유도와 낙관도를 증가시키는 명시적 반례를 구성한다.

실험 결과

연구 질문

• RQ1 라소 및 리지 회귀에서 정규화를 더 강하게 하면 항상 자유도가 감소하는가?
• RQ2 어떤 조건에서 정규화가 낙관도와 자유도를 증가시킬 수 있으며, 이는 이론적 기대와 반대되는가?
• RQ3 자유도가 정규화에 따라 단조 감소하는 것을 보장하는 일반적인 모델 클래스는 무엇인가?
• RQ4 왜 기존의 직관(정규화가 자유도를 낮춰 과적합을 줄인다)은 라소 및 리지 회귀에서는 실패하는가?
• RQ5 정규화된 모델의 낙관도가 덜 정규화된 모델보다 높을 수 있으며, 만약 그렇다면 어떤 조건에서 그런가?

주요 결과

• 라소 및 리지 회귀에서는 더 높은 정규화가 자유도와 낙관도를 증가시키는 반례가 존재하며, 이는 표준 가정과 모순된다.
• 대칭 선형 스무딩에서는 더 높은 정규화가 자유도의 단조 감소를 보장한다.
• 볼록 제약 조건이 붙은 선형 회귀(예: 제약 리지 및 제약 라소)에서는 정규화가 자유도의 단조 감소를 보장한다.
• 모델의 낙관도는 정규화 파라미터에 대해 반드시 단조적이지 않으며, 더 높은 정규화가 낙관도를 증가시킬 수 있다.
• 훈련 오차가 증가하는 동안에도 야코비안 행렬의 트레이스(효과적 자유도)가 정규화에 따라 증가할 수 있으며, 이는 그러한 정규화가 효과가 없음을 의미한다.
• 중첩된 정규화된 모델에서 자유도가 정규화가 증가함에 따라 단조롭게 감소하는 데 필요한 이론적 조건을 도출하였다.