[논문 리뷰] A representer theorem for deep kernel learning

Bastian Bohn, Michael Griebel외 1명|arXiv (Cornell University)|2017. 09. 29.

Model Reduction and Neural Networks인용 수 3

한 줄 요약

이 논문은 딥 커널 러닝을 위한 리프레젠터 정리(Representer Theorem)를 수립하여, 다층 커널 네트워크에서 비선형이고 무한차원 최적화 문제의 최적 해가 데이터에 대한 유한차원 비선형 함수로 표현될 수 있음을 증명한다. 핵심 기여는 표준 비선형 최적화 알고리즘을 딥 커널 모델에 적용할 수 있도록 이론적 기반을 제공하는 것으로, 딥 러닝 및 다층 다중 커널 학습 방법에 직접적인 응용을 가능하게 한다.

ABSTRACT

In this paper we provide a finite-sample and an infinite-sample representer theorem for the concatenation of (linear combinations of) kernel functions of reproducing kernel Hilbert spaces. These results serve as mathematical foundation for the analysis of machine learning algorithms based on compositions of functions. As a direct consequence in the finite-sample case, the corresponding infinite-dimensional minimization problems can be recast into (nonlinear) finite-dimensional minimization problems, which can be tackled with nonlinear optimization algorithms. Moreover, we show how concatenated machine learning problems can be reformulated as neural networks and how our representer theorem applies to a broad class of state-of-the-art deep learning methods.

연구 동기 및 목표

• 딥 커널 러닝과 다층 다중 커널 학습(MLMKL) 방법을 분석하기 위한 이론적 프레임워크 부족 문제를 해결하기 위해.
• 기존 단일층 커널 방법에 대해 개발된 고전적 리프레젠터 정리를 다층, 연결된 커널 아키텍처로 확장하기 위해.
• 딥 커널 네트워크에서 무한차원 최적화 문제를 유한차원 문제로 환원할 수 있는 수학적 기반을 제공하기 위해.
• 딥 러닝 모델의 최신 기법들인 딥 서포트 벡터 머신(DSVM)과 학습된 커널을 갖는 신경망에 리프레젠터 정리가 적용될 수 있음을 보여주기 위해.
• 딥 커널 모델을 훈련하기 위해 표준 비선형 최적화 기법을 사용할 수 있도록, 유한차원 해 표현의 존재를 증명함으로써 기반을 마련하기 위해.

제안 방법

• 임의의 손실 함수와 정규화 항을 사용하여 재생 커널 힐버트 공간(RKHS) 내에서 최적의 연결된 근사 문제를 수식화한다.
• 훈련 데이터에서 커널 값에 기반한 유한차원 표현을 갖는다는 것을 증명함으로써, 다층 커널 네트워크에 대한 리프레젠터 정리를 유도한다.
• 유한표본 및 무한표본 설정 모두에 적용하여, 해가 입력 점에서 평가된 커널 함수가 생성하는 유한차원 부분공간에 존재함을 보여준다.
• 적분 표현식과 RKHS 커널의 재생 성질을 활용하여, 손실 함수와 데이터 분포에 의해 결정되는 가중치를 갖는 커널 함수의 가중합으로 해를 표현한다.
• 손실 함수와 그 도함수가 적분 가능하고 미분 가능함을 보장하는 조건을 수립하여, 깊은 아키텍처에서 리프레젠터 정리의 타당성을 확보한다.
• 커널의 복합화를 계층적 특징 학습 메커니즘으로 해석함으로써, 유도된 해 구조가 딥 신경망과 딥 서포트 벡터 머신(DSVM)으로 자연스럽게 일반화됨을 보여준다.

실험 결과

연구 질문

• RQ1 다중 층의 커널 함수로 구성된 딥 커널 러닝 모델에 대해 리프레젠터 정리를 수립할 수 있는가?
• RQ2 딥 커널 네트워크에서 무한차원 최적화 문제의 해가 어떤 조건에서 유한차원 부분공간에 표현될 수 있는가?
• RQ3 제안된 리프레젠터 정리는 단일층 커널 방법의 고전적 결과를 다층 아키텍처로 어떻게 확장하는가?
• RQ4 이 정리는 표준 비선형 최적화 알고리즘을 딥 커널 모델에 적용하는 데 어떻게 기여하는가?
• RQ5 딥 커널 러닝, 다층 다중 커널 학습(MLMKL), 그리고 딥 신경망 간의 이론적 연결 고리는 무엇인가?

주요 결과

• 논문은 딥 커널 러닝에 대해 표본 수에 관계없이 유한표본 및 무한표본 리프레젠터 정리를 증명하여, 최적 해가 훈련 데이터에 대한 유한차원 비선형 함수로 표현될 수 있음을 보였다.
• 해 구조는 원래의 무한차원 최적화 문제를 유한차원 문제로 재구성할 수 있게 하여, 표준 비선형 최적화 기법의 적용이 가능하게 한다.
• 정리의 적용 범위는 학습된 커널 함수로 구성된 것으로 간주될 수 있는 깊은 신경망과 딥 서포트 벡터 머신(DSVM)을 포함한 광범위한 딥 러닝 모델에 적용된다.
• 각 층의 해는 커널과 손실 함수의 도함수를 포함하는 적분으로 표현되며, 이는 수치 계산을 위해 이산화될 수 있다.
• 증명은 손실 함수와 그 도함수의 적분 가능성과 미분 가능성에 의존하며, 체인 룰과 지배 수렴 정리로 유도된 경계를 사용한다.
• 결과적으로 [9]에서 제안된 RLS2 방법을 비선형 외부 커널로 일반화하여, 더 높은 유연성과 근사 능력을 갖춘 다층 커널 학습의 이론적 기반을 제공한다.