[논문 리뷰] L2 Regularization for Learning Kernels

Corinna Cortes, Mehryar Mohri외 1명|arXiv (Cornell University)|2012. 05. 09.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 363

한 줄 요약

이 논문은 릿지 회귀에서 커널 함수 학습을 위한 L2 정규화를 제안하며, 기본 커널들의 비음수 선형 조합을 최적화하기 위한 효율적인 반복 알고리즘을 제시한다. 이론적으로 L2 정규화가 성능을 유지하거나 향상시키며, 특히 큰 커널 집합에서 L1 정규화보다 확장성과 안정성 면에서 뛰어나며, 표준 커널 릿지 회귀에 비해 오직 덧셈 항 O(√p/m)만 추가로 발생하는 이론적 안정성 경계를 보여준다.

ABSTRACT

The choice of the kernel is critical to the success of many learning algorithms but it is typically left to the user. Instead, the training data can be used to learn the kernel by selecting it out of a given family, such as that of non-negative linear combinations of p base kernels, constrained by a trace or L1 regularization. This paper studies the problem of learning kernels with the same family of kernels but with an L2 regularization instead, and for regression problems. We analyze the problem of learning kernels with ridge regression. We derive the form of the solution of the optimization problem and give an efficient iterative algorithm for computing that solution. We present a novel theoretical analysis of the problem based on stability and give learning bounds for orthogonal kernels that contain only an additive term O(pp/m) when compared to the standard kernel ridge regression stability bound. We also report the results of experiments indicating that L1 regularization can lead to modest improvements for a small number of kernels, but to performance degradations in larger-scale cases. In contrast, L2 regularization never degrades performance and in fact achieves significant improvements with a large number of kernels.

연구 동기 및 목표

• 기계 학습에서 커널 선택의 과제를 다루며, 커널 선택이 성능에 결정적인 영향을 미치지만 일반적으로 사용자에 의해 지정된다는 점을 고려한다.
• L1 또는 트레이스 제약 조건 대신 L2 정규화를 사용하여 기본 커널들의 비음수 선형 조합에서 커널을 학습하는 것을 탐색한다.
• 회귀 작업에서 L2-정규화된 커널 학습을 위한 효율적인 최적화 알고리즘을 개발한다.
• L2-정규화된 커널 학습에 대한 안정성과 일반화 경계의 새로운 이론적 분석을 제공한다.

제안 방법

• L2 정규화에 대한 커널 계수 최적화를 통해 커널 학습 문제를 릿지 회귀 최적화 문제로 공식화한다.
• L2 정규화 하에 최적의 커널 계수에 대한 닫힌 형태의 해를 유도한다.
• 커널 행렬의 구조와 고유분해를 활용하여 해를 효율적으로 계산하는 반복 알고리즘을 제안한다.
• 새로운 이론적 프레임워크를 사용하여 안정성 분석을 수행하고, 직교 커널에 대한 일반화 경계를 유도한다.
• L2-정규화된 커널 학습의 안정성 경계를 표준 커널 릿지 회귀와 비교하여, 오직 O(√p/m)의 작은 덧셈 항만 존재함을 보여준다.
• 기본 커널 수가 다양할 때 L2와 L1 정규화를 비교하기 위해 벤치마크 데이터셋에서 실험적 평가를 수행한다.

실험 결과

연구 질문

• RQ1 L2 정규화를 통한 커널 학습은 L1 정규화와 비교해 일반화 성능와 안정성 측면에서 어떻게 다를까?
• RQ2 L2 정규화는 다수의 기본 커널을 가진 커널 학습에 대해 안정성과 일반화에 대한 이론적 보장을 제공할 수 있는가?
• RQ3 기본 커널의 수가 L2-정규화된 커널 학습 성능에 어떤 영향을 미치는가?
• RQ4 L1 정규화와 달리, L2 정규화는 기본 커널 수가 증가할 때 성능 저하를 방지할 수 있는가?
• RQ5 L2-정규화된 커널 학습의 이론적 안정성 경계는 표준 커널 릿지 회귀와 비교해 어떻게 다를까?

주요 결과

• L2 정규화는 성능을 떨어뜨리지 않으며, 큰 수의 기본 커널을 사용할 경우에 특히 뚜렷한 향상을 이룬다.
• L1 정규화는 커널 수가 적을 경우에만 약간의 향상을 보이며, 대규모 설정에서는 성능 저하를 초래한다.
• L2-정규화된 커널 학습의 이론적 안정성 경계는 표준 커널 릿지 회귀에 비해 오직 덧셈 항 O(√p/m)만 존재한다.
• 제안된 반복 알고리즘은 L2 정규화 하에 최적의 커널 계수를 효율적으로 계산한다.
• 실험 결과, 기본 커널 수가 증가할수록 L2 정규화가 L1 정규화를 일관되게 뛰어넘는다.
• 기본 커널 수가 증가하더라도 이론적으로 강력한 일반화 성능을 유지하며, 뛰어난 확장성을 보여준다.