[논문 리뷰] Does generalization performance of $l^q$ regularization learning depend on $q$? A negative example

Shao-Bo Lin, Xu Chen외 2명|arXiv (Cornell University)|2013. 07. 25.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 표본에 의존하는 가설 공간 프레임워크 내에서 $l^q$-정규화된 커널 학습을 조사하며, 넓은 범위의 커널에 대해 $0 < q < ∞$ 인 모든 $l^q$ 추정기들이 거의 최적의 일반화 오차 한계를 달성함을 보여준다. 이는 $q$의 선택이 일반화 성능에 미치는 영향이 미미하다는 것을 의미한다. 따라서 예측 정확도를 희생시키지 않고도 스파arsity나 계산 효율성과 같은 비일반화 기준에 따라 $q$를 선택할 수 있다.

ABSTRACT

$l^q$-regularization has been demonstrated to be an attractive technique in machine learning and statistical modeling. It attempts to improve the generalization (prediction) capability of a machine (model) through appropriately shrinking its coefficients. The shape of a $l^q$ estimator differs in varying choices of the regularization order $q$. In particular, $l^1$ leads to the LASSO estimate, while $l^{2}$ corresponds to the smooth ridge regression. This makes the order $q$ a potential tuning parameter in applications. To facilitate the use of $l^{q}$-regularization, we intend to seek for a modeling strategy where an elaborative selection on $q$ is avoidable. In this spirit, we place our investigation within a general framework of $l^{q}$-regularized kernel learning under a sample dependent hypothesis space (SDHS). For a designated class of kernel functions, we show that all $l^{q}$ estimators for $0&lt; q &lt; \infty$ attain similar generalization error bounds. These estimated bounds are almost optimal in the sense that up to a logarithmic factor, the upper and lower bounds are asymptotically identical. This finding tentatively reveals that, in some modeling contexts, the choice of $q$ might not have a strong impact in terms of the generalization capability. From this perspective, $q$ can be arbitrarily specified, or specified merely by other no generalization criteria like smoothness, computational complexity, sparsity, etc..

연구 동기 및 목표

• 표본에 의존하는 가설 공간 프레임워크 내에서 $l^q$-정규화된 커널 학습의 일반화 성능이 $q$의 선택에 따라 달라지는지 조사하는 것.
• 스파arsity나 계산 복잡도와 같은 다른 기준에 기반하여 일반화 오차를 고려하지 않고도 $q$를 선택할 수 있는지 판단하는 것.
• 표본에 의존하는 가설 공간 프레임워크 하에서 모든 $q \in (0, \infty)$ 에 대해 $l^q$ 추정기의 일반화 오차 한계를 수립하는 것.
• 상한과 하한을 로그 인자 수준까지 비교하여 이러한 한계가 거의 최적인지 평가하는 것.

제안 방법

• 표본에 의존하는 가설 공간(SDHS) 프레임워크 내에서 $l^q$-정규화된 커널 학습의 공식적 분석.
• 특정 커널 함수의 클래스 하에서 모든 $q \in (0, \infty)$ 에 대해 $l^q$ 추정기의 일반화 오차 한계 유도.
• 일반화 오차의 상한과 하한을 비교하여 최적성 평가를 하며, 두 한계는 오직 로그 인자 수준에서만 다름.
• 통계적 학습 이론의 이론적 도구를 활용하여 한계가 로그 항목을 제외하고 渐近적으로 날카롭게 맞물린다는 것을 증명.
• 한계가 $q$에 대해 균일하므로, $q$의 선택에 따른 성능 차이가 거의 없음을 나타냄.
• 커널의 구조와 SDHS에 기반하여 정규화 순서 $q$가 기본 학습 능력을 변화시키지 않는다는 것을 보여줌.

실험 결과

연구 질문

• RQ1 표본에 의존하는 가설 공간 프레임워크에서 $l^q$-정규화된 커널 학습의 일반화 성능이 $q$의 값에 따라 크게 달라지는가?
• RQ2 $q$의 선택을 일반화 성능에서 분리하여, 스파arsity나 계산 복잡성과 같은 보조 기준에 따라 선택할 수 있는가?
• RQ3 모든 $q \in (0, \infty)$ 에 대해 $l^q$ 추정기의 일반화 오차 한계가 거의 최적인가?
• RQ4 표본에 의존하는 가설 공간(SDHS) 프레임워크에서 $l^q$ 추정기의 일반화 오차 상한과 하한이 어느 정도 일치하는가?

주요 결과

• 지정된 커널 클래스 하에서 $0 < q < \infty$ 인 모든 $l^q$ 추정기는 유사한 일반화 오차 한계를 달성한다.
• 유도된 일반화 오차의 상한과 하한은 로그 인자 수준까지 渐近적으로 동일하며, 거의 최적임을 나타낸다.
• 일반화 성능는 $q$의 선택에 거의 영향을 받지 않으며, 이는 $q$를 스파arsity나 계산 비용과 같은 비일반화 기준에 따라 선택할 수 있음을 시사한다.
• 이론적 프레임워크는 $l^q$ 정규화가 SDHS 설정 내에서 예측 능력 측면에서 특정 $q$를 선호하지 않음을 확인한다.
• 결과적으로 $q$ 선택을 단순화할 수 있으며, 이 맥락에서 일반화 오차에 큰 영향을 주지 않음을 시사한다.
• 스파arsity를 위해 $q=1$이나 스무스함을 위해 $q=2$와 같은 계산적 또는 구조적으로 유리한 $q$ 값을 선택해도 예측 성능에 손상이 없다는 것을 뒷받침한다.