[논문 리뷰] Regularization Strategies and Empirical Bayesian Learning for MKL

Ryota Tomioka, Taiji Suzuki|arXiv (Cornell University)|2010. 11. 13.

Machine Learning and Algorithms참고 문헌 33인용 수 14

한 줄 요약

이 논문은 오목 쌍대성의 개념을 통해 다중 커널 학습(MKL)에서 커널 가중치 기반 정규화와 블록 노름 기반 정규화를 통합하는 프레임워크를 제안하며, 주변 가능도 최대화를 통해 커널 가중치를 학습하는 경험 베이지안 MKL 방법을 도입한다. 이 방법은 균일한 커널 조합과 유사한 정확도를 달성하면서도 관련 커널의 자동 선택이 가능하며, 엘라스틱넷 MKL은 스파arsity를 달성하고 해석 가능성을 향상시킨다.

ABSTRACT

Multiple kernel learning (MKL), structured sparsity, and multi-task learning have recently received considerable attention. In this paper, we show how different MKL algorithms can be understood as applications of either regularization on the kernel weights or block-norm-based regularization, which is more common in structured sparsity and multi-task learning. We show that these two regularization strategies can be systematically mapped to each other through a concave conjugate operation. When the kernel-weight-based regularizer is separable into components, we can naturally consider a generative probabilistic model behind MKL. Based on this model, we propose learning algorithms for the kernel weights through the maximization of marginal likelihood. We show through numerical experiments that $\ell_2$-norm MKL and Elastic-net MKL achieve comparable accuracy to uniform kernel combination. Although uniform kernel combination might be preferable from its simplicity, $\ell_2$-norm MKL and Elastic-net MKL can learn the usefulness of the information sources represented as kernels. In particular, Elastic-net MKL achieves sparsity in the kernel weights.

연구 동기 및 목표

• 오목 쌍대 변환을 활용하여 다중 커널 학습(MKL)에서 커널 가중치 기반 정규화와 블록 노름 기반 정규화 간의 체계적인 수학적 연결을 수립하기 위해.
• 분리 가능한 커널 가중치 정규화를 위한 생성적 확률 모델을 구축하여, MKL에 대한 원칙적인 베이지안 접근법을 가능하게 하기 위해.
• 주변 가능도 최대화를 통해 커널 가중치 추정을 위한 경험 베이지안 학습 알고리즘을 제안하여 데이터 기반 커널 선택을 가능하게 하기 위해.
• 제안된 경험 베이지안 MKL의 성능을 평가하고, 정확도 및 커널 가중치 스파arsity 측면에서 기존 MKL 방법들과 비교하기 위해.
• 다양한 정규화 전략 하에서 스파arsity, 정확도, 내성성 간의 상호 상충 관계를 탐구하기 위해.

제안 방법

• 오목 쌍대 연산을 통해 커널 가중치 기반 정규화와 블록 노름 기반 정규화 간의 관계를 수식화하여, 두 공식 간의 체계적 매핑을 가능하게 하기 위해.
• 커널 가중치를 조건부 공액 사전을 갖는 랜덤 변수로 모델링하여, 분리 가능한 MKL에 대한 계층적 베이지안 공식화를 가능하게 하기 위해.
• 주변 가능도를 최대화하기 위해 볼록 하위문제를 번갈아 최소화하는 반복 최적화 알고리즘을 유도하기 위해.
• 맥케이 스타일 업데이트를 사용하여 하이퍼파rameter를 구현하여 국소 최적해로 수렴하는 경험 베이지안 MKL을 구현하기 위해.
• 결과로 도출된 비볼록 정규화를 등가의 블록 노름 정규화로 매핑하여, 방법의 행동에 대한 이론적 기반을 제공하기 위해.
• 20개의 훈련/테스트 분할을 통해 Caltech 101 데이터셋에 대해 1,760개의 커널을 사용하여 성능 평가를 수행하고, 정확도 및 커널 가중치 패턴을 비교하기 위해.

실험 결과

연구 질문

• RQ1 다중 커널 학습(MKL)에서 커널 가중치 기반 정규화와 블록 노름 기반 정규화를 오목 쌍대성의 수학적 이중성으로 체계적으로 연결할 수 있는가?
• RQ2 분리 가능한 커널 가중치 정규화를 위한 생성적 확률 모델을 구축하여 경험 베이지안 학습을 가능하게 할 수 있는가?
• RQ3 경험 베이지안 MKL의 성능은 ℓ₂-노름 및 엘라스틱넷 MKL과 같은 표준 MKL 방법들에 비해 분류 정확도 및 커널 가중치 스파arsity 측면에서 어떻게 비교되는가?
• RQ4 제안된 경험 베이지안 MKL가 어떤 조건에서 스파스한 커널 가중치를 도출하는가? 이는 일반화에 어떤 영향을 미치는가?
• RQ5 주변 가능도 최대화 접근법과 다중 커널 학습(MKL)에서의 블록 노름 정규화 구조 간의 관계는 무엇인가?

주요 결과

• 엘라스틱넷 MKL는 균일한 커널 조합과 유사한 분류 정확도를 달성하면서도 활성 커널 수를 크게 감소시켰다. 특히 'Cannon vs Cup' 작업에서 88개의 가우시안 RBF 커널과 792개의 χ² 커널만을 선택하였다.
• 제안된 경험 베이지안 MKL 방법은 주변 가능도 최대화를 통해 커널 가중치를 학습하며, 이로 인해 스파스한 해를 선호하는 비볼록 정규화가 도출되었다.
• ℓ₂-노름 MKL는 균일한 커널 조합과 유사한 성능을 보였지만, 엘라스틱넷 MKL와 달리 커널 가중치에 스파arsity를 유도하지는 않았다.
• 경험 베이지안 MKL는 극도로 스파스한 커널 가중치를 생성하는 경향이 있어, 특히 클래스당 샘플 수가 20 미만일 경우 일반적으로 성능이 열 劣하는 데 기여할 수 있다.
• 클래스당 30개 이상의 샘플이 있는 데이터셋에서는 경험 베이지안 MKL가 ℓ₂-노름 및 엘라스틱넷 MKL와 유사한 성능을 보였으며, 이는 충분한 데이터가 있을 경우 더 높은 내성성을 확보함을 시사한다.
• 이 방법은 경험 베이지안 정규화를 등가의 블록 노름 정규화로 성공적으로 매핑하여, 커널 가중치 및 블록 노름 공식화 간의 이론적 이중성에 대한 타당성을 검증하였다.