[논문 리뷰] A Risk Ratio Comparison of $l_0$ and $l_1$ Penalized Regression

Kory D. Johnson, Dongyu Lin외 3명|arXiv (Cornell University)|2015. 10. 21.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 15

한 줄 요약

이 논문은 특징 선택을 위한 $l_0$ 및 $l_1$ 정규화된 회귀를 비교하며, $l_1$ 정규화가 볼록성 덕분에 계산적으로 효율적이지만, $l_0$ 정규화보다 예측 성능이 무한히 열 劣할 수 있음을 보여준다. 주요 기여는 단계적 회귀를 통한 $l_0$의 근사 해가 정확한 $l_1$ 해보다 종종 뛰어나며, $l_0$ 기준으로 최적의 $l_1$ 모델을 선택하면 정확도가 향상됨을 보여주는 것이다.

ABSTRACT

There has been an explosion of interest in using $l_1$-regularization in place of $l_0$-regularization for feature selection. We present theoretical results showing that while $l_1$-penalized linear regression never outperforms $l_0$-regularization by more than a constant factor, in some cases using an $l_1$ penalty is infinitely worse than using an $l_0$ penalty. We also show that the "optimal" $l_1$ solutions are often inferior to $l_0$ solutions found using stepwise regression. We also compare algorithms for solving these two problems and show that although solutions can be found efficiently for the $l_1$ problem, the "optimal" $l_1$ solutions are often inferior to $l_0$ solutions found using greedy classic stepwise regression. Furthermore, we show that solutions obtained by solving the convex $l_1$ problem can be improved by selecting the best of the $l_1$ models (for different regularization penalties) by using an $l_0$ criterion. In other words, an approximate solution to the right problem can be better than the exact solution to the wrong problem.

연구 동기 및 목표

• 고차원 특징 선택에서 $l_0$ 및 $l_1$ 정규화된 회귀의 예측 위험 성능을 체계적으로 분석하고 비교하는 것.
• 왜 $l_1$ 정규화가 계산상의 이점이 있음에도 불구하고 실무에서 $l_0$ 방법보다 성능이 떨어지는지 탐구하는 것.
• $l_1$ 최적 해가 단순히 $l_0$ 기반의 그릿한 알고리즘(예: 단계적 회귀)으로 얻은 $l_0$ 해보다 항상 뛰어나다고 볼 수 있는지 평가하는 것.
• 단계적 최적화를 통해 후보 모델을 생성하고 $l_0$ 기준으로 최고의 모델을 선택하는 하이브리드 접근법을 제안하는 것.
• 정확한 문제($l_1$)에 대한 정확한 해보다 올바른 문제($l_0$)에 대한 근사 해가 더 나은 성능을 낼 수 있음을 보여주는 것.

제안 방법

• 독립 동일분포 가우시안 노이즈가 있는 정규 선형 모델 하에서 $l_0$ 및 $l_1$ 추정기 간의 최대위험 비율에 대한 이론적 분석.
• $l_1$ 정규화가 $l_0$에 비해 무한히 열 劣한 성능을 보이는 합성 데이터 예제 제작.
• NP-완전한 부분집합 선택 문제에서 유도된 정확한 커버 문제에서 Lasso($l_1$)와 전진 단계적 회귀($l_0$ 기반) 간의 실증적 비교.
• LARS 알고리즘을 사용해 $l_1$ 정규화 경로를 생성하고, $l_0$ 정규화된 학습 오차 기반으로 최고의 모델을 선택하는 것.
• 예측 오차의 기대값으로 측정된 미래 관측치에 대한 예측 위험과 모델 희소성의 평가를 합성 및 실세계 데이터셋을 통해 수행하는 것.
• 고차원 환경에서 그릿한 $l_0$ 기반 탐색의 효과성을 설명하기 위해 하위모듈라 최적화 원리를 적용하는 것.

실험 결과

연구 질문

• RQ1 최악의 경우에서 $l_1$ 정규화된 회귀의 예측 위험은 $l_0$ 정규화된 회귀와 비교해 어떻게 되는가?
• RQ2 $l_1$ 정규화가 예측 정확도 측면에서 $l_0$ 정규화보다 언제나 무한히 열 劣할 수 있는가?
• RQ3 $l_1$ 최적 해가 항상 단계적 회귀와 같은 그릿한 방법으로 얻은 $l_0$ 해보다 뛰어나다고 볼 수 있는가?
• RQ4 $l_0$ 기준으로 $l_1$ 모델 중에서 선택하면 $l_1$ 방법의 성능을 향상시킬 수 있는가?
• RQ5 어떤 조건에서 근사 $l_0$ 해가 정확한 $l_1$ 해를 초월하는가?

주요 결과

• $l_1$ 대 $l_0$의 위험 비율은 제곱적으로 증가하고 무한히 커질 수 있어, 최악의 경우 $l_1$이 $l_0$보다 무한히 열 劣할 수 있음을 시사한다.
• 희소 시스템에서는 위험 비율의 Supremum $\sup_{\boldsymbol{\beta}} \frac{R(\boldsymbol{\beta}, \hat{\boldsymbol{\beta}}_{l_1})}{R(\boldsymbol{\beta}, \hat{\boldsymbol{\beta}}_{l_0})}$ 가 무한히 수렴하여 $l_1$이 무한히 열 劣한 성능을 낼 수 있음을 보여준다.
• 전진 단계적 회귀(그릿한 $l_0$ 기반 방법)는 Lasso보다 항상 더 희소한 모델을 생성하며, 이들의 예측 위험은 낮다.
• 정확한 커버 문제에서 단계적 회귀는 더 적은 부분집합을 선택한다(예: $n=30$일 때 10개 대비 29개) 및 더 낮은 제곱합 오차를 기록하여 더 나은 모델 선택을 보여준다.
• 최적의 $l_1$ 해보다 $l_0$ 정규화된 학습 오차를 최소화하여 선택한 최고의 $l_1$ 모델이 항상 뛰어나며, 이는 $l_0$ 기준이 모델 평가에 더 효과적임을 보여준다.
• 정확한 문제($l_0$)에 대한 근사 해는 잘못된 문제($l_1$)에 대한 정확한 해보다 뛰어날 수 있으며, 이는 문제 설정의 중요성은 계산적 정확성보다 더 높다는 점을 강조한다.