[论文解读] Constructions of Reproducing Kernel Banach Spaces via Generalized Mercer Kernels

Yuesheng Xu, Qi Ye|arXiv (Cornell University)|Dec 30, 2014

Sparse and Compressive Sensing Techniques参考文献 55被引用 6

一句话总结

本文引入广义Mercer核以构建p-范数再生核巴拿赫空间（RKBS），扩展了再生核希尔伯特空间（RKHS）的理论。研究证明，这些p-范数RKBS与标准p-范数序列空间等距同构，从而实现稀疏表示，并通过表示定理和紧致性性质实现支持向量机的有限维解。

ABSTRACT

This article mainly studies with the constructions of reproducing kernel Banach spaces (RKBSs) that are the generalization of reproducing kernel Hilbert spaces (RKHSs). Firstly, we verify many advance properties of the general RKBSs such as density, continuity, implicit representation, imbedding, compactness, and representer theorems for learning methods. Next, we develop a new concept of generalized Mercer kernels to construct the $p$-norm RKBSs for $1\leq p\leq\infty$. The $p$-norm RKBSs preserve the same simple format as the Mercer representation of RKHSs. Moreover, the p-norm RKBSs are isometrically equivalent to the standard p-norm spaces of countable sequences; hence the $p$-norm RKBSs possess more abundant geometrical structures than RKHSs including sparsity. To be more precise, the suitable countable expansion terms of the generalized Mercer kernels can be used to represent the pairs of Schauder bases and biorthogonal systems of the $p$-norm RKBSs such that the generalized Mercer kernels become the reproducing kernels of the $p$-norm RKBSs. The theory of the generalized Mercer kernels also cover many well-known kernels, for instance, min kernels, Gaussian kernels, and power series kernels. Finally, we propose to solve the support vector machines in the $p$-norm RKBSs, which are to minimize the regularized empirical risks over the $p$-norm RKBSs. We show that the infinite-dimensional support vector machines in the $p$-norm RKBSs can be equivalently transferred into the finite dimensional convex optimization problems such that we can obtain the finite dimensional representations of their support vector machine solutions for practical applications and computer programs. In particular, we verify that some typical support vector machines in the $1$-norm RKBSs are equivalent to the classical $1$-norm sparse regressions.

研究动机与目标

• 将再生核希尔伯特空间（RKHS）的理论扩展至具有更丰富几何结构的一般再生核巴拿赫空间（RKBS）。
• 提出一类新的广义Mercer核，实现对1 ≤ p ≤ ∞的p-范数RKBS的系统化构造。
• 建立p-范数RKBS与标准p-范数序列空间之间的等距同构关系，从而赋予其更丰富的几何结构与稀疏性特性。
• 通过将无限维问题转化为有限维凸优化问题，实现p-范数RKBS中支持向量机的建模与求解。
• 证明基于1-范数RKBS的支持向量机等价于经典1-范数稀疏回归，验证其在实际学习中的稀疏性。

提出的方法

• 引入广义Mercer核作为一类新核函数，其可生成与经典Mercer核在RKHS中具有相同结构简洁性的p-范数RKBS。
• 证明p-范数RKBS与标准p-范数序列空间之间存在等距同构关系，保持核函数在再生函数值中的作用。
• 利用由广义Mercer核导出的Schauder基与双正交系展开，表示p-范数RKBS中的元素。
• 建立p-范数RKBS中学习的表示定理，确保解可表示为核函数的有限线性组合。
• 在p-范数RKBS中建立正则化经验风险最小化模型，并证明其等价于有限维凸优化问题。
• 证明基于1-范数RKBS的支持向量机可退化为经典1-范数稀疏回归，从而确认其解的稀疏性。

实验结果

研究问题

• RQ1 广义Mercer核能否用于构造广义化RKHS的p-范数再生核巴拿赫空间？
• RQ2 p-范数RKBS是否与标准p-范数序列空间具有等距同构关系，从而支持更丰富的几何与稀疏结构？
• RQ3 p-范数RKBS中的支持向量机能否被转化为有限维凸优化问题以实现实际计算？
• RQ4 基于1-范数RKBS的支持向量机是否等价于经典1-范数稀疏回归方法？
• RQ5 广义Mercer核与已知核函数（如min核、高斯核、幂级数核）之间有何关系？

主要发现

• 广义Mercer核为p-范数RKBS的系统化构造提供了方法，将经典Mercer核框架从希尔伯特空间推广至巴拿赫空间。
• p-范数RKBS与标准p-范数序列空间之间存在等距同构关系，使其相较于RKHS具有更丰富的几何结构与稀疏性特性。
• 广义Mercer核理论包含了min核、高斯核与幂级数核等知名核函数作为特例。
• p-范数RKBS中的支持向量机可等价转化为有限维凸优化问题，从而实现高效计算。
• 基于1-范数RKBS的支持向量机在数学上等价于经典1-范数稀疏回归，证实其具有促进稀疏解的性质。
• p-范数RKBS中的表示定理确保学习问题的解为核函数的有限线性组合，从而支持数值实现。