[논문 리뷰] Constructions of Reproducing Kernel Banach Spaces via Generalized Mercer Kernels

Yuesheng Xu, Qi Ye|arXiv (Cornell University)|2014. 12. 30.

Sparse and Compressive Sensing Techniques참고 문헌 55인용 수 6

한 줄 요약

이 논문은 일반화된 머서 핵을 도입하여 p-노름 재생핵 힐버트 공간(RKHSs)의 이론을 일반화한 p-노름 재생핵 범주공간(RKBSs)을 구성한다. 이들 p-노름 RKBSs가 표준 p-노름 수열 공간과 등장하는 등장성(이sovolumetric)임을 입증함으로써, 지원벡터기계의 희소 표현과 유한차원 해를 가능하게 한다. 이는 표현정리와 컴팩트성 성질에 기반한다.

ABSTRACT

This article mainly studies with the constructions of reproducing kernel Banach spaces (RKBSs) that are the generalization of reproducing kernel Hilbert spaces (RKHSs). Firstly, we verify many advance properties of the general RKBSs such as density, continuity, implicit representation, imbedding, compactness, and representer theorems for learning methods. Next, we develop a new concept of generalized Mercer kernels to construct the $p$-norm RKBSs for $1\leq p\leq\infty$. The $p$-norm RKBSs preserve the same simple format as the Mercer representation of RKHSs. Moreover, the p-norm RKBSs are isometrically equivalent to the standard p-norm spaces of countable sequences; hence the $p$-norm RKBSs possess more abundant geometrical structures than RKHSs including sparsity. To be more precise, the suitable countable expansion terms of the generalized Mercer kernels can be used to represent the pairs of Schauder bases and biorthogonal systems of the $p$-norm RKBSs such that the generalized Mercer kernels become the reproducing kernels of the $p$-norm RKBSs. The theory of the generalized Mercer kernels also cover many well-known kernels, for instance, min kernels, Gaussian kernels, and power series kernels. Finally, we propose to solve the support vector machines in the $p$-norm RKBSs, which are to minimize the regularized empirical risks over the $p$-norm RKBSs. We show that the infinite-dimensional support vector machines in the $p$-norm RKBSs can be equivalently transferred into the finite dimensional convex optimization problems such that we can obtain the finite dimensional representations of their support vector machine solutions for practical applications and computer programs. In particular, we verify that some typical support vector machines in the $1$-norm RKBSs are equivalent to the classical $1$-norm sparse regressions.

연구 동기 및 목표

• 재생핵 힐버트 공간(RKHSs) 이론을 기하학적 구조가 더 풍부한 일반 재생핵 범주공간(RKBSs)으로 확장한다.
• 1 ≤ p ≤ ∞인 p-노름 RKBSs를 체계적으로 구성할 수 있는 새로운 종류의 일반화된 머서 핵을 개발한다.
• p-노름 RKBSs와 표준 p-노름 수열 공간 사이의 등장성(이sovolumetric)을 확립하여 더 풍부한 기하학적 및 희소성 성질을 가능하게 한다.
• 무한차원 문제를 유한차원 볼록 최적화 문제로 감소시켜 p-노름 RKBSs에서 지원벡터기계를 공식화하고 해결한다.
• 1-노름 RKBS 기반의 지원벡터기계가 고전적인 1-노름 희소 회귀와 동일함을 입증함으로써 실용적 학습에서의 희소성의 타당성을 검증한다.

제안 방법

• 고전적 머서 핵이 RKHSs에서 가지는 구조적 단순성과 동일한 성질을 갖는 p-노름 RKBSs를 생성하는 새로운 종류의 일반화된 머서 핵을 도입한다.
• p-노름 RKBSs가 표준 p-노름 수열 공간과 등장하는 등장성(이sovolumetric) 등장성(isometric isomorphism)을 갖는다는 것을 증명한다. 이는 핵 함수가 함수 값 재생에 기여하는 역할를 유지함을 의미한다.
• 일반화된 머서 핵에서 유도된 샤펄 기저와 이중기저 체계 전개를 사용하여 p-노름 RKBSs 내의 원소를 표현한다.
• p-노름 RKBSs에서의 학습을 위한 표현정리(Representer theorems)를 확립하여, 해가 핵 함수의 유한선형 조합으로 표현될 수 있음을 보장한다.
• p-노름 RKBSs에서 정규화된 경험 위험 최소화 문제를 공식화하고, 이가 유한차원 볼록 최적화 문제와 동치임을 보여준다.
• 1-노름 RKBS 기반의 지원벡터기계가 고전적인 1-노름 희소 회귀로 감소함을 입증하여, 해의 희소성 특성을 확인한다.

실험 결과

연구 질문

• RQ1 일반화된 머서 핵을 사용하여 RKHSs를 일반화한 p-노름 재생핵 범주공간(RKBSs)을 구성할 수 있는가?
• RQ2 p-노름 RKBSs가 표준 p-노름 수열 공간과 등장성(이sovolumetric)을 갖는가? 이는 더 풍부한 기하학적 및 희소성 구조를 가능하게 하는가?
• RQ3 p-노름 RKBSs에서의 지원벡터기계는 실용적 구현을 위해 유한차원 볼록 최적화 문제로 감소할 수 있는가?
• RQ4 1-노름 RKBS 기반의 지원벡터기계는 고전적인 1-노름 희소 회귀 방법과 동일한가?
• RQ5 일반화된 머서 핵은 최소값(min), 가우시안, 거듭제곱 급수 핵과 같은 잘 알려진 핵들과 어떻게 관련이 있는가?

주요 결과

• 일반화된 머서 핵은 p-노름 RKBSs를 체계적으로 구성할 수 있는 방법을 제공하며, 이는 범주공간으로의 고전적 머서 핵 프레임워크의 일반화이다.
• p-노름 RKBSs가 표준 p-노름 수열 공간과 등장하는 등장성(이sovolumetric)을 갖는다. 이는 RKHSs보다 더 풍부한 기하학적 및 희소성 성질을 부여한다.
• 일반화된 머서 핵 이론은 최소값 핵, 가우시안 핵, 거듭제곱 급수 핵과 같은 잘 알려진 핵들을 특수한 경우로 포함한다.
• p-노름 RKBSs에서의 지원벡터기계는 등가적으로 유한차원 볼록 최적화 문제로 변환될 수 있어 실용적인 계산이 가능하다.
• 1-노름 RKBS 기반의 지원벡터기계는 수학적으로 고전적인 1-노름 희소 회귀와 동일하며, 이는 해의 희소성 촉진 성질을 확인한다.
• p-노름 RKBSs에서의 표현정리(Representer theorems)는 학습 문제의 해가 핵 함수의 유한선형 조합임을 보장하여 수치적 구현을 가능하게 한다.