[논문 리뷰] A Note on Improved Loss Bounds for Multiple Kernel Learning

Zakria Hussain, John Shawe‐Taylor외 1명|arXiv (Cornell University)|2011. 06. 30.

Machine Learning and Algorithms참고 문헌 7인용 수 8

한 줄 요약

이 논문은 이전 연구에서 다중 커널 학습(MKL)의 잘못된 라데마처 복잡도 경계를 수정한다. 기존 주장이 커널 수에 대해 로그가 덧셈 형태로 의존한다는 것은 잘못되었음을 보여주며, 수정된 경계는 마진 γ와 log p 사이에 곱셈 형태의 의존성을 드러낸다. 이는 일반화 보장을 약화시키지만, MKL의 복잡도에 대한 더 정확한 이론적 분석을 제공한다.

ABSTRACT

In this paper, we correct an upper bound, presented in~\cite{hs-11}, on the generalisation error of classifiers learned through multiple kernel learning. The bound in~\cite{hs-11} uses Rademacher complexity and has an\emph{additive} dependence on the logarithm of the number of kernels and the margin achieved by the classifier. However, there are some errors in parts of the proof which are corrected in this paper. Unfortunately, the final result turns out to be a risk bound which has a \emph{multiplicative} dependence on the logarithm of the number of kernels and the margin achieved by the classifier.

연구 동기 및 목표

• 문헌 [4]에서 제시한 다중 커널 학습(MKL)의 라데마처 복잡도 기반 일반화 경계에 대한 오류를 식별하고 수정하는 것.
• 라데마처 복잡도를 사용하여 다중 커널 학습의 추정 오차에 대한 재수정된 이론적 분석을 제공하는 것.
• 일반화 오차 경계가 커널 수와 마진 파라미터 γ에 대해 진정으로 어떻게 의존하는지 명확히 하는 것.
• MKL 분류기의 실제 복잡도를 반영하는 더 정확한 리스크 경계를 수립하는 것.

제안 방법

• 다중 커널 학습에서 기본 커널의 볼록 조합에 의해 유도되는 함수 클래스에 대해 라데마처 복잡도 이론을 적용한다.
• 일반화 오차에 대한 더 날카운 경계를 도출하기 위해 클리핑된 허프만 손실 함수 A^γ(s)를 사용한다.
• [4]에서 잘못된 가정한 ∑j R_m(F_j) ≤ R_m(∪j F_j)를 수정하며, 이는 잘못된 log p의 덧셈 의존성으로 이어졌다.
• 삼각 부등식과 sup-노름 분해를 사용하여 새로운 경계를 유도하며, log p에 대해 1/γ의 곱셈 계수를 도출한다.
• 집중 불등식과 클리핑된 허프만 손실의 리프시츠 성질을 적용하여 추정 오차를 제어한다.
• 최대 커널 대각선 노름과 커널 수 p에 의존하는 경계를 수립하며, γ와 log p에 명시적인 의존성을 포함한다.

실험 결과

연구 질문

• RQ1 다중 커널 학습에서 라데마처 복잡도 경계가 커널 수에 대해 올바르게 어떻게 의존하는가?
• RQ2 왜 [4]에서 주장한 바와 같이 log p에 대한 덧셈 의존성이 엄밀한 분석에서 실패하는가?
• RQ3 마진 γ가 일반화 오차 경계의 로그 항과 어떻게 상호작용하는가?
• RQ4 수정된 라데마처 복잡도 이론을 사용하여 MKL에 대해 더 날카운 일반화 경계를 도출할 수 있는가?

주요 결과

• 문헌 [4]에서 주장한 바와 같이 라데마처 복잡도 경계에서 log p에 대한 덧셈 의존성은 잘못된 부등식 적용으로 인해 잘못되었다.
• 수정된 경계는 log p에 대해 1/γ의 곱셈 의존성을 보이며, 원래 주장한 것과 비교해 일반화 보장이 약화된다.
• 최종 리스크 경계는 err(f) ≤ Ê[A^γ(yf(x))] + (1/γ)[(2/m)max_j √∑i κ_j(x_i,x_i) + √(8 log p / m)] + 3√(log(2/δ)/(2m))로 주어진다.
• 커널 정규화 조건(κ_j(x,x) ≤ R²) 하에서는 경계가 err(f) ≤ Ê[A^γ(yf(x))] + (1/γ)[2R/√m + √(8 log p / m)] + 3√(log(2/δ)/(2m))로 단순화된다.
• 수정된 분석은 활성 커널 수 d와 log p가 마진 항과 분리될 수 없음을 드러내며, 원래 주장한 부분적 독립성은 성립하지 않음을 입증한다.
• 분석은 [4]의 원래 경계가 함수 클래스의 라데마처 복잡도를 잘못 다루면서 일반화 성능을 과대평가하고 있음을 확인한다.