[论文解读] Generalized Mercer Kernels and Reproducing Kernel Banach Spaces

Yuesheng Xu, Qi Ye|arXiv (Cornell University)|Dec 30, 2014

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

本文引入广义Mercer核以构建$ p $-范数（$ 1 \leq p \leq \infty $）的再生核巴拿赫空间（RKBS），实现具有稀疏性和几何优势的适定机器学习。关键贡献在于证明了在$p$-范数RKBS中的无限维支持向量机可被简化为有限维凸优化问题，且$1$-范数RKBS等价于经典的$1$-范数稀疏回归。

ABSTRACT

This article studies constructions of reproducing kernel Banach spaces (RKBSs) which may be viewed as a generalization of reproducing kernel Hilbert spaces (RKHSs). A key point is to endow Banach spaces with reproducing kernels such that machine learning in RKBSs can be well-posed and of easy implementation. First we verify many advanced properties of the general RKBSs such as density, continuity, separability, implicit representation, imbedding, compactness, representer theorem for learning methods, oracle inequality, and universal approximation. Then, we develop a new concept of generalized Mercer kernels to construct $p$-norm RKBSs for $1\leq p\leq\infty$. The $p$-norm RKBSs preserve the same simple format as the Mercer representation of RKHSs. Moreover, the $p$-norm RKBSs are isometrically equivalent to the standard $p$-norm spaces of countable sequences. Hence, the $p$-norm RKBSs possess more geometrical structures than RKHSs including sparsity. The generalized Mercer kernels also cover many well-known kernels, for example, min kernels, Gaussian kernels, and power series kernels. Finally, we propose to solve the support vector machines in the $p$-norm RKBSs, which are to minimize the regularized empirical risks over the $p$-norm RKBSs. We show that the infinite dimensional support vector machines in the $p$-norm RKBSs can be equivalently transferred to finite dimensional convex optimization problems such that we obtain the finite dimensional representations of the support vector machine solutions for practical applications. In particular, we verify that some special support vector machines in the $1$-norm RKBSs are equivalent to the classical $1$-norm sparse regressions. This gives fundamental supports of a novel learning tool called sparse learning methods to be investigated in our next research project.

研究动机与目标

• 开发一种系统化框架，用于构建再生核巴拿赫空间（RKBS），而无需依赖半内积，从而克服先前工作的局限性。
• 为巴拿赫空间赋予再生核，使得机器学习保持适定且计算上可行。
• 建立$ p $-范数RKBS，使其在保持RKHS中Mercer表示简洁性的同时，支持稀疏性和更丰富的几何结构。
• 证明在$ p $-范数RKBS中的支持向量机可被简化为有限维凸优化问题，以实现实际应用。
• 通过证明$1$-范数RKBS SVM与经典$1$-范数稀疏回归的等价性，为稀疏学习方法提供理论基础。

提出的方法

• 引入广义Mercer核的概念，作为经典Mercer核的推广，通过具有$L^p$-可积特征函数的特征函数展开来定义。
• 通过确保广义Mercer核诱导到序列的$\ell^p$空间的等距同构，构建$ p $-范数RKBS（$ 1 \leq p \leq \infty $）。
• 利用Schauder基和双正交系表示来表征$ p $-范数RKBS的结构，从而实现显式函数展开。
• 建立$ p $-范数RKBS中学习的表示定理，确保解可表示为有限维形式。
• 将$ p $-范数RKBS中的支持向量机表述为正则化经验风险最小化问题，其解等价于有限维凸规划。
• 验证$1$-范数RKBS SVM与经典$1$-范数稀疏回归等价，为稀疏学习提供理论基础。

实验结果

研究问题

• RQ1 能否在不依赖半内积的前提下系统地构造再生核巴拿赫空间？
• RQ2 能否定义广义Mercer核，以生成所有$ 1 \leq p \leq \infty $的$ p $-范数RKBS，同时保持Mercer表示的简洁性？
• RQ3 $ p $-范数RKBS是否继承了诸如表示定理、Oracle不等式和通用逼近等有利性质？
• RQ4 能否将$ p $-范数RKBS中的支持向量机简化为有限维凸优化问题以实现实际计算？
• RQ5 是否存在$1$-范数RKBS SVM与经典$1$-范数稀疏回归之间的理论等价性？

主要发现

• $ p $-范数RKBS通过广义Mercer核构造，与标准可数序列的$\ell^p$空间等距同构，保持了其几何与结构特性。
• 广义Mercer核构造涵盖了已知核（如最小核、高斯核和幂级数核），扩展了其在巴拿赫空间中的适用性。
• $ p $-范数RKBS中成立表示定理，确保学习解可仅用训练数据表示为有限维形式。
• $ p $-范数RKBS中的支持向量机可等价地转化为有限维凸优化问题，从而支持实际实现。
• 在$1$-范数情况下，SVM解等价于经典$1$-范数稀疏回归，验证了该框架在稀疏学习中的有效性。
• 该框架支持通用逼近和Oracle不等式，确保了$ p $-范数RKBS中学习的理论完备性。