[논문 리뷰] New Generalization Bounds for Learning Kernels

Corinna Cortes, Mehryar Mohri외 1명|ArXiv.org|2009. 12. 17.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 9

한 줄 요약

이 논문은 라데마처 복잡도 분석을 통해 학습 커널에 대한 새로운 일반화 경계를 제안하며, 볼록 조합의 경우 기저 커널 수 $ p $ 에 대해 로그적 의존성과 $ L_2 $-정규화된 선형 조합의 경우 $ p^{1/4} $ 의 의존성을 확보한다. 이러한 경계는 이전 연구에 비해 더 날카롭고, $ p \gg m $ 일 때조차도 유의미하여, 과적합의 우려 없이 큰 커널 가족을 사용할 수 있도록 한다.

ABSTRACT

This paper presents several novel generalization bounds for the problem of learning kernels based on the analysis of the Rademacher complexity of the corresponding hypothesis sets. Our bound for learning kernels with a convex combination of p base kernels has only a log(p) dependency on the number of kernels, p, which is considerably more favorable than the previous best bound given for the same problem. We also give a novel bound for learning with a linear combination of p base kernels with an L_2 regularization whose dependency on p is only in p^{1/4}.

연구 동기 및 목표

• 기저 커널 수가 많을 경우 학습 커널에 대한 날카운 일반화 경계가 부족한 문제를 다루기 위해.
• 기존 경계가 $ p $ 에 대해 악화되는 경향이 있는 경우, 예를 들어 $ \sqrt{p} $ 나 $ p $ 와 같은 스케일링을 개선하기 위해.
• 기본 커널의 볼록 조합과 $ L_2 $-정규화된 선형 조합에 대해 더 날카운, 더 정보적인 경계를 제공하기 위해.
• 실제로 많은 수의 커널을 사용하는 데 이론적 근거를 제공하기 위해, 특히 고차원 또는 복잡한 학습 과제에서.
• 기본 커널 수 $ p $ 가 표본 크기 $ m $ 를 초과할 때조차도 여전히 의미 있는 경계를 유도하기 위해.

제안 방법

• 비음수 가중치의 합이 1이 되는 $ p $ 개의 기저 커널의 볼록 조합으로 구성된 가설 집합의 라데마처 복잡도를 분석한다.
• 일반화 경계를 유도하며, $ p $ 에 대한 의존성이 $ \widetilde{O}\left(\sqrt{\frac{\log p \cdot R^2 / \rho^2}{m}}\right) $ 로 로그적이고 이전의 $ \sqrt{p} $ 기반 경계보다 훨씬 날카럽게 한다.
• $ L_2 $-정규화된 선형 조합의 커널에 동일한 라데마처 복잡도 프레임워크를 적용하여, $ p $ 에 대해 $ p^{1/4} $ 의 의존성을 가지는 경계를 도출한다.
• $ \ell_r $-노름과 볼록성 추론을 사용하여 복잡도 항을 제한하며, 특히 $ r = 4 $ 를 활용해 $ p^{1/4} $ 스케일링을 달성한다.
• 기존의 안정성 기반 접근 방식과 달리, 기저 커널 간의 수직성 조건이 필요 없이 경계가 성립하도록 한다.
• 집중 부등식을 활용하여 마진 기반 일반화 경계를 유도하며, $ \delta $-확률에 대한 신뢰도 항을 포함한다.

실험 결과

연구 질문

• RQ1 기본 커널 수 $ p $ 에 대해 유리한 스케일링을 보이는 일반화 경계를 유도할 수 있는가, 특히 $ p \gg m $ 일 때.
• RQ2 기본 커널의 볼록 조합의 라데마처 복잡도가 $ p $ 에 따라 어떻게 의존하는가, 그리고 다항식 의존성 대신 로그 의존성으로 제한할 수 있는가.
• RQ3 $ L_2 $-정규화된 선형 조합의 커널에 대해 $ p $ 에 대한 최적의 의존성은 무엇이며, $ \sqrt{p} $ 를 초월해 개선할 수 있는가.
• RQ4 기존의 제약 조건인 기저 커널 간의 수직성 조건 없이도 새로운 경계를 도출할 수 있는가.
• RQ5 기존의 의사차원수 또는 안정성 기반 경계와 비교해 새로운 경계는 날카롭고 실용적인가.

주요 결과

• 제안된 볼록 조합에 대한 경계는 $ p $ 에 대해 $ \log p $ 의 의존성만 가지며, 이는 이전의 $ \sqrt{p} $ 나 $ p $ 스케일링에 비해 상당한 향상이다.
• $ L_2 $-정규화된 선형 조합의 경우 경계는 $ p^{1/4} $ 의 스케일링을 보이며, 이는 이전의 안정성 기반 경계에서의 $ \sqrt{p} $ 의존성보다 훨씬 덜 엄격하다.
• 경계는 $ p \gg m $ 일 때조차도 여전히 의미 있는 정보를 제공하며, 이는 이전 경계가 공허하거나 무의미해지는 영역이다.
• $ \log p $ 의존성 경계는 추가적인 로그 항 없이도 간단하며, Srebro와 Ben-David의 의사차원수 기반 경계와 달리 핵심적인 $ \log p $ 외에 추가 로그 항이 포함되어 있지 않다.
• $ p^{1/4} $ 경계는 기저 커널 간의 수직성 조건이 필요 없어, 이전의 $ L_2 $-기반 경계보다 더 넓은 적용 범위를 가진다.
• 유도된 마진 기반 일반화 경계는 신뢰도 항을 포함하며, 높은 확률 $ 1 - \delta $ 에서 유효하여 학습 알고리즘에서 실용적인 적용 가능성을 보장한다.