[논문 리뷰] Generalized Mercer Kernels and Reproducing Kernel Banach Spaces

Yuesheng Xu, Qi Ye|arXiv (Cornell University)|2014. 12. 30.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 $p$-노름($1 \leq p \leq \infty$)을 위한 재생 커널 바나흐 공간(RKBSs)을 구성하기 위해 일반화된 머서 커널을 도입한다. 이는 희소성과 힐버트 공간 대비 기하학적 이점이 있는 잘 정의된 기계학습를 가능하게 한다. 주요 기여는 무한차원 $p$-노름 RKBS에서의 서포트 벡터 머신이 유한차원 볼록 최적화 문제로 감소할 수 있음을 보여주는 것이다. 특히 $1$-노름 RKBS는 고전적인 $1$-노름 희소 회귀와 동치이다.

ABSTRACT

This article studies constructions of reproducing kernel Banach spaces (RKBSs) which may be viewed as a generalization of reproducing kernel Hilbert spaces (RKHSs). A key point is to endow Banach spaces with reproducing kernels such that machine learning in RKBSs can be well-posed and of easy implementation. First we verify many advanced properties of the general RKBSs such as density, continuity, separability, implicit representation, imbedding, compactness, representer theorem for learning methods, oracle inequality, and universal approximation. Then, we develop a new concept of generalized Mercer kernels to construct $p$-norm RKBSs for $1\leq p\leq\infty$. The $p$-norm RKBSs preserve the same simple format as the Mercer representation of RKHSs. Moreover, the $p$-norm RKBSs are isometrically equivalent to the standard $p$-norm spaces of countable sequences. Hence, the $p$-norm RKBSs possess more geometrical structures than RKHSs including sparsity. The generalized Mercer kernels also cover many well-known kernels, for example, min kernels, Gaussian kernels, and power series kernels. Finally, we propose to solve the support vector machines in the $p$-norm RKBSs, which are to minimize the regularized empirical risks over the $p$-norm RKBSs. We show that the infinite dimensional support vector machines in the $p$-norm RKBSs can be equivalently transferred to finite dimensional convex optimization problems such that we obtain the finite dimensional representations of the support vector machine solutions for practical applications. In particular, we verify that some special support vector machines in the $1$-norm RKBSs are equivalent to the classical $1$-norm sparse regressions. This gives fundamental supports of a novel learning tool called sparse learning methods to be investigated in our next research project.

연구 동기 및 목표

• 반세미내적곱을 사용하지 않고 재생 커널 바나흐 공간(RKBSs)을 체계적으로 구성하는 프레임워크를 개발하는 것.
• 기계학습이 잘 정의되고 계산적으로 실현 가능하도록 바나흐 공간에 재생 커널을 부여하는 것.
• $p$-노름 RKBSs를 구축하여 머서 표현의 단순성을 유지하면서도 희소성과 richer 기하학적 구조를 가능하게 하는 것.
• 서포트 벡터 머신이 $p$-노름 RKBSs에서 유한차원 볼록 최적화 문제로 감소할 수 있음을 보여주어 실용적 구현을 가능하게 하는 것.
• $1$-노름 RKBS SVM이 고전적인 $1$-노름 희소 회귀와 동치임을 보여 이론적 기초를 제공하는 것.

제안 방법

• 고전적 머서 커널의 일반화로, $L^p$-적분 가능한 고유함수 전개를 통해 정의된 일반화된 머서 커널의 개념을 도입한다.
• 일반화된 머서 커널이 수열의 $\ell^p$ 공간에 등장하는等距등장사상(isometric isomorphism)을 유도하도록 보장하여, $1 \leq p \leq \infty$에 대해 $p$-노름 RKBSs를 구성한다.
• 스카우드 기저와 이중기저 체계 표현을 사용하여 $p$-노름 RKBSs의 구조를 특성화하고, 명시적인 함수 전개를 가능하게 한다.
• 학습을 위한 $p$-노름 RKBSs에서의 프리젠터 정리(representer theorem)를 수립하여, 해가 오직 학습 데이터만을 사용하는 유한차원 표현을 갖도록 보장한다.
• $p$-노름 RKBSs에서의 서포트 벡터 머신을 정규화된 경험 위험 최소화 문제로 공식화하고, 해가 유한차원 볼록 프로그램과 동치임을 보여준다.
• $1$-노름 RKBS SVM이 고전적인 $1$-노름 희소 회귀와 동치임을 검증하여, 희소 학습을 위한 이론적 기반을 제공한다.

실험 결과

연구 질문

• RQ1 반세미내적곱을 사용하지 않고 재생 커널 바나흐 공간을 체계적으로 구성할 수 있는가?
• RQ2 일반화된 머서 커널이 모든 $1 \leq p \leq \infty$에 대해 $p$-노름 RKBSs를 생성하면서도 머서 표현의 단순성을 유지할 수 있는가?
• RQ3 $p$-노름 RKBSs가 프리젠터 정리, 오라클 부등식, 보편 근사성과 같은 유리한 성질을 상속하는가?
• RQ4 $p$-노름 RKBSs에서의 서포트 벡터 머신이 실용적 계산을 위해 유한차원 볼록 최적화 문제로 감소할 수 있는가?
• RQ5 $1$-노름 RKBS SVM과 고전적인 $1$-노름 희소 회귀 사이에 이론적 동치성이 존재하는가?

주요 결과

• 일반화된 머서 커널을 통해 구성된 $p$-노름 RKBSs는 가 countable 수열의 표준 $\ell^p$ 공간과 등거리등장사상(isometrically isomorphic)이며, 기하학적 및 구조적 성질을 유지한다.
• 일반화된 머서 커널 구성은 최소 커널, 가우시안 커널, 거듭제곱 급수 커널과 같은 잘 알려진 커널들을 포함하며, 이를 바나흐 공간에 적용 가능하게 확장한다.
• $p$-노름 RKBSs에서 프리젠터 정리가 성립하여, 학습 해가 오직 학습 데이터만을 사용하는 유한차원 표현을 갖는다.
• $p$-노름 RKBSs에서의 서포트 벡터 머신은 등가적으로 유한차원 볼록 최적화 문제로 변환될 수 있어 실용적 구현이 가능하다.
• $1$-노름의 경우, SVM 해는 고전적인 $1$-노름 희소 회귀와 동치이며, 이는 희소 학습을 위한 프레임워크의 타당성을 검증한다.
• 이 프레임워크는 보편 근사성과 오라클 부등식을 지원하여, $p$-노름 RKBSs에서의 학습에 대한 이론적 타당성을 확보한다.