[논문 리뷰] Kernel machines with two layers and multiple kernel learning

Francesco Dinuzzo|arXiv (Cornell University)|2010. 01. 15.

Neural Networks and Applications참고 문헌 51인용 수 12

한 줄 요약

이 논문은 표현 정리(Representer Theorem)를 통해 커널 함수와 예측기의 공동 학습을 가능하게 하는 이중층 커널 머신 프레임워크를 제안한다. 이는 고전적 커널 방법을 일반화하며, 이중층 아키텍처가 데이터 적응형 커널을 가진 단일층 커널 머신과 동일시됨을 보여준다. 또한, 다양한 학습 과제에서 최고 성능을 보이는 계산적으로 효율적인 다중 커널 학습 방법인 RLS2를 제안한다.

ABSTRACT

In this paper, the framework of kernel machines with two layers is introduced, generalizing classical kernel methods. The new learning methodology provide a formal connection between computational architectures with multiple layers and the theme of kernel learning in standard regularization methods. First, a representer theorem for two-layer networks is presented, showing that finite linear combinations of kernels on each layer are optimal architectures whenever the corresponding functions solve suitable variational problems in reproducing kernel Hilbert spaces (RKHS). The input-output map expressed by these architectures turns out to be equivalent to a suitable single-layer kernel machines in which the kernel function is also learned from the data. Recently, the so-called multiple kernel learning methods have attracted considerable attention in the machine learning literature. In this paper, multiple kernel learning methods are shown to be specific cases of kernel machines with two layers in which the second layer is linear. Finally, a simple and effective multiple kernel learning method called RLS2 (regularized least squares with two layers) is introduced, and his performances on several learning problems are extensively analyzed. An open source MATLAB toolbox to train and validate RLS2 models with a Graphic User Interface is available.

연구 동기 및 목표

• 이중층 아키텍처를 도입하여 커널 함수와 예측기의 공동 학습을 가능하게 함으로써 고전적 커널 방법을 일반화하는 것.
• 표현 정리에 기반한 이론적 기반을 확립하여, 최적의 이중층 네트워크가 각 층에서 커널 함수의 유한한 선형 조합임을 보여주는 것.
• 다중층 아키텍처와 다중 커널 학습 간의 관계를 정식화하며, 특히 두 번째 층이 선형인 경우에 초점을 맞추는 것.
• 효율적인 다중 커널 학습을 위한 새로운 정규화 최소 제곱법인 RLS2를 개발하고 분석하는 것.
• 실세계 데이터셋(유전체 데이터 포함)에서 RLS2의 효과성을 입증하고, GUI 기반 오픈소스 MATLAB 툴박스를 제공하는 것.

제안 방법

• 함수적 아키텍처로 이중층 $ f = f_2 \circ f_1 $를 제안하며, $ f_1: X \to Z $, $ f_2: Z \to Y $로 정의되며, $ Z $와 $ Y $는 힐버트 공간이다.
• 최적의 $ f_1 $와 $ f_2 $가 재생 커널 힐베르트 공간(RKHS) 내의 커널 함수의 유한한 선형 조합임을 보여주는 표현 정리를 유도한다.
• 이중층 아키텍처가 학습된 커널 함수를 가진 단일층 커널 머신과 수학적으로 동일함을 보이며, 네트워크 학습을 통한 데이터 기반 커널 선택이 가능해짐을 보여준다.
• 두 번째 층 $ f_2 $가 선형인 경우에 집중하여, 다중 커널 학습(MKL)과 동치인 정규화 프레임워크를 도출한다.
• 선형 시스템과 제약 조건이 있는 최소 제곱 문제를 번갈아가며 푸는 이중 단계 최적화 절차인 RLS2를 도입한다.
• 행렬 분수 함수 $ z^T R^rown z $를 사용한 볼록 최적화 공식화를 통해 공동 볼록성과 해석 가능성(tractability)을 보장한다.

실험 결과

연구 질문

• RQ1 가장자리 공간이 무한차원일 경우에도 이중층 커널 머신에 대해 표현 정리를 확립할 수 있는가?
• RQ2 이중층 커널 머신 프레임워크는 고전적 단일층 커널 방법과 다중 커널 학습 간에 어떻게 관련되어 있는가?
• RQ3 이중층 아키텍처와 단일층에서의 커널 학습 간의 계산적 및 이론적 동치성은 무엇인가?
• RQ4 이중층 프레임워크에서 단순하고 효율적이며 효과적인 다중 커널 학습 방법을 도출할 수 있는가?
• RQ5 기존 방법과 비교해 실제 학습 문제에서 제안된 RLS2 방법이 얼마나 높은 성능 향상을 이룰 수 있는가?

주요 결과

• 표현 정리가 이중층 커널 머신에 대해 성립하며, 최적의 해가 각 층에서 커널 함수의 유한한 선형 조합임을 보여준다.
• 이중층 아키텍처는 데이터 적응형 커널을 가진 단일층 커널 머신과 수학적으로 동일하며, 네트워크 학습을 통한 커널 학습이 가능해진다.
• 다중 커널 학습 방법은 두 번째 층이 선형인 이중 모델의 특수한 경우로 나타남을 보여준다.
• RLS2는 다중 분류 과제, 특히 유전체 데이터의 다중 클래스 분류 과제에서 최고 성능의 일반화 성능를 달성한다.
• RLS2의 이중 단계 최적화는 계산적으로 효율적이며, 선형 시스템과 제약 조건이 있는 최소 제곱 문제를 번갈아 푸는 방식이다.
• 훈련 및 검증을 위한 GUI 기반 오픈소스 MATLAB 툴박스를 제공하여 재현 가능성과 사용성 향상을 도모한다.