[논문 리뷰] Functional learning through kernels

Stéphane Canu, Xavier Mary외 1명|arXiv (Cornell University)|2009. 10. 06.

Neural Networks and Applications참고 문헌 18인용 수 31

한 줄 요약

이 논문은 재생 핵 힐버트 공간(r.k.h.s.)을 비힐베르트 공간으로 일반화하기 위해 일반화된 재생 핵 쌍대성(generalized reproducing kernel dualities)을 도입함으로써, 비양수 핵, 비힐베르트 노름(예: L¹), 그리고 임의의 안정화자(stabilizers)의 사용을 가능하게 한다. 일반화된 리포지터 정리(generalized representer theorem)를 수립하여, 힐베르트 프레임워크 외부에서도 학습 문제의 해가 핵 함수들의 선형 조합으로 남아 있음을 증명함으로써, 다양한 학습 기계들을 더 넓은 이론적 틀 안에서 통합한다.

ABSTRACT

This paper reviews the functional aspects of statistical learning theory. The main point under consideration is the nature of the hypothesis set when no prior information is available but data. Within this framework we first discuss about the hypothesis set: it is a vectorial space, it is a set of pointwise defined functions, and the evaluation functional on this set is a continuous mapping. Based on these principles an original theory is developed generalizing the notion of reproduction kernel Hilbert space to non hilbertian sets. Then it is shown that the hypothesis set of any learning machine has to be a generalized reproducing set. Therefore, thanks to a general "representer theorem", the solution of the learning problem is still a linear combination of a kernel. Furthermore, a way to design these kernels is given. To illustrate this framework some examples of such reproducing sets and kernels are given.

연구 동기 및 목표

• 이론적 학습 프레임워크와 비양수 또는 비힐베르트 노름 정규화를 사용하는 실용적 학습 기계 간 격차를 해소하기 위해.
• 힐베르트 공간 구조를 요구하지 않으면서도 r.k.h.s.의 핵심 성질을 유지하는 기능적 학습을 위한 일반적 프레임워크를 수립하기 위해.
• 비힐베르트 가설 집합에 적용 가능한 일반화된 리포지터 정리를 도출하기 위해.
• 임의의 안정화자와 쌍대성 쌍(pairing)으로부터 핵과 가설 공간을 체계적으로 구성하는 방법을 제공하기 위해.
• tanh 핵이나 L¹ 정규화를 사용하는 다양한 학습 접근법을 하나의 이론적 기반 아래 통합하기 위해.

제안 방법

• 내적 대신 두 개의 서로 다른 공간 간의 쌍대 맵(duality map)을 사용하는 이중 기반 프레임워크를 도입함으로써, 하나는 가설을 위한 공간이고 다른 하나는 평가를 위한 공간이다.
• 가설 공간에서 평가 기능이 연속적이게 되는 조건을 요구함으로써 일반화된 재생 핵 쌍대성을 정의한다.
• 이중성에 기반해 핵 연산자를 통해 가설 공간을 구성함으로써, 표준 r.k.h.s. 구성 방식을 힐베르트 공간에서 비힐베르트 공간으로 일반화한다.
• 예를 들어 (L¹, L∞) 쌍대성과 점별 수렴 위상이 부여된 모든 실수 함수의 공간과 같은 예시에 프레임워크를 적용한다.
• 분리 가능한 힐베르트 공간 위에서 정의된 임의의 핵 연산자는 행렬로 표현될 수 있음을 보이며, 이는 ℓ² 구조로부터 분리 가능하고 일반화된 r.k.h.s.를 구성할 수 있음을 의미한다.
• 비힐베르트 공간에서도 학습 문제의 해가 학습 데이터 포인트에서 평가된 핵 함수들의 선형 조합임을 보여주는 방식으로 일반화된 리포지터 정리를 유도한다.

실험 결과

연구 질문

• RQ1 재생 핵 이론을 힐베르트 공간을 초월해 일반화할 수 있을까? 이 경우에도 핵 전개를 통한 해 표현과 같은 핵심 학습 성질을 유지할 수 있는가?
• RQ2 비양수 핵(예: tanh 핵)과 비힐베르트 노름(예: L¹)은 어떻게 통합된 학습 프레임워크 내에서 공식적으로 정당화될 수 있는가?
• RQ3 비힐베르트 가설 공간에서 평가 기능이 연속성을 유지하기 위한 조건은 무엇인가?
• RQ4 임의의 안정화자와 비힐베르트 노름을 사용하는 학습 기계에 적용 가능한 일반화된 리포지터 정리는 존재하는가?
• RQ5 일반화된 재생 핵 쌍대성을 생성하기 위해 핵 연산자를 어떻게 시스템적으로 구성할 수 있는가?

주요 결과

• 모든 학습 기계의 가설 공간은 일반화된 재생 집합이어야 하며, 이는 해가 핵 함수들의 선형 조합으로 표현될 수 있음을 보장한다.
• 평가 기능은 가설 공간에서 연속적이며, 이는 안정적인 함수 추정을 위한 기본 조건이다.
• 쌍곡선 tangent 핵과 같은 비양수 핵은 일반화된 프레임워크 내에서 공식적으로 정당화될 수 있다.
• L¹ 및 L∞와 같은 비힐베르트 노름은 재생 성질을 유지하는 공간의 쌍대 쌍을 정의함으로써 프레임워크에서 지원된다.
• 표준 ℓ² 공간을 기반으로 핵 연산자를 통해 분리 가능하고 일반화된 r.k.h.s.를 구성할 수 있으며, 이는 실용적 구현을 가능하게 한다.
• 일반화된 리포지터 정리는 성립한다: 학습 문제의 해는 비힐베르트 공간에서도 학습 입력에서 평가된 핵 함수들의 선형 조합이다.