[논문 리뷰] The Local Rademacher Complexity of Lp-Norm Multiple Kernel Learning

Marius Kloft, Gilles Blanchard|arXiv (Cornell University)|2011. 03. 03.

Machine Learning and Algorithms참고 문헌 26인용 수 32

한 줄 요약

이 논문은 상관성이 없는 커널 특징 사상이 있다고 가정할 때, 모든 p ∈ [1, ∞]에 대해 ℓₚ-노름 다중 커널 학습(MKL)의 국소 라데마처 복잡도에 대한 날카운 상계를 유도한다. 분석을 통해 최소 커널의 고유값 감쇠률 α에 따라 순위 O(n⁻ᵅ/(1+α))의 빠른 초과 위험 수렴 속도를 도출하였으며, 일치하는 하한을 통해 상계의 날카움을 입증한다.

ABSTRACT

We derive an upper bound on the local Rademacher complexity of $\ell_p$-norm multiple kernel learning, which yields a tighter excess risk bound than global approaches. Previous local approaches aimed at analyzed the case $p=1$ only while our analysis covers all cases $1\leq p\leq\infty$, assuming the different feature mappings corresponding to the different kernels to be uncorrelated. We also show a lower bound that shows that the bound is tight, and derive consequences regarding excess loss, namely fast convergence rates of the order $O(n^{-\fracα{1+α}})$, where $α$ is the minimum eigenvalue decay rate of the individual kernels.

연구 동기 및 목표

• 글로벌 복잡도 접근 방식보다 더 날카운 일반화 상계를 ℓₚ-노름 다중 커널 학습에 대해 도출하는 것.
• 이전에 연구된 ℓ₁ 경우를 초월하여, 상관성이 없는 커널 사상 하에서 모든 p ∈ [1, ∞]에 대해 국소 라데마처 복잡도 분석을 확장하는 것.
• 유도된 상계의 날카움을 일치하는 하한을 통해 입증하는 것.
• 개별 커널의 고유값 감쇠률 α에 따라 초과 손실 수렴 속도를 특성화하는 것.
• 실제로 ℓ₁과 ℓ∞보다 중간 ℓₚ 노름(1 < p < ∞)이 더 잘 작동하는 이유에 대한 이론적 근거를 제공하는 것.

제안 방법

• 국소 라데마처 복잡도 기법을 사용하여 ℓₚ-노름 MKL 함수의 기대 위험 이탈을 상계한다.
• 제품 힐버트 공간에서 ℓₚ-MKL과 블록-ℓ₂,ₚ 정규화 학습 간의 등가성을 활용한다.
• 다른 커널에 대응하는 특징 사상이 상관성이 없다는 가정 하에서 상계를 도출한다.
• 핵심 기술적 요소로는 유한한 랜덤 변수의 q차 모멘트를 제어하기 위해 모멘트 부등식과 얀의 부등식을 사용하는 것이다.
• 증명은 이산 동일분포 랜덤 변수의 합의 기대값을 파oisson 모멘트 상한과 스타링의 근사식을 사용하여 제어하는 데 포함된다.
• 상한이 상수 요소를 제외하고 최적임을 확인하기 위해 일치하는 하한을 구성한다.

실험 결과

연구 질문

• RQ1 국소 라데마처 복잡도 분석은 글로벌 접근 방식보다 ℓₚ-노름 다중 커널 학습에 대해 더 날카운 일반화 상계를 도출할 수 있는가?
• RQ2 이전 연구에서 p = 1에 국한되어 있던 것과 달리, 유도된 상계는 모든 p ∈ [1, ∞]에 대해 성립하는가?
• RQ3 유도된 상계는 날카로운가? 일치하는 하한을 도출할 수 있는가?
• RQ4 개별 커널의 고유값 감쇠률 α에 따라 초과 위험 수렴 속도는 어떻게 되는가?
• RQ5 왜 실무에서는 중간 ℓₚ 노름(1 < p < ∞)이 ℓ₁과 ℓ∞보다 자주 더 잘 작동하는가?

주요 결과

• 논문은 모든 p ∈ [1, ∞]에 대해 ℓₚ-노름 MKL의 국소 라데마처 복잡도에 대해 글로벌 상한보다 날카운 상한을 도출한다.
• 상한은 개별 커널의 최소 고유값 감쇠률 α에 따라 O(n⁻ᵅ/(1+α))의 초과 위험 수렴 속도를 도출한다.
• 일치하는 하한을 통해 상한이 상수 요소를 제외하고 최적임을 입증하여 날카움을 확인한다.
• 분석은 이전 연구가 p = 1에 국한되어 있던 것과 달리, 모든 ℓₚ 노름(1 ≤ p ≤ ∞)을 포함한다.
• 결과는 다중 커널 학습에서 중간 ℓₚ 노름의 실용적 성공에 대한 이론적 근거를 제공한다.
• 기술적 증명은 파oisson 분포 랜덤 변수의 모멘트 상한과 스타링의 근사식을 활용하여 고차 모멘트를 제어한다.