[论文解读] Vector valued reproducing kernel Hilbert spaces and universality

Claudio Carmeli, Ernesto De Vito+2 more|ArXiv.org|Jul 10, 2008

Mathematical Analysis and Transform Methods参考文献 26被引用 6

一句话总结

本文建立了向量值再生核希尔伯特空间（vRKHS）的全面理论，聚焦于特征映射、通用核以及平移不变核。证明了vRKHS的通用性等价于其积分算子的单射性，并在连续性假设下，通过在 $ C_0(X;\tilde{Y}) $ 和 $ L^2(X,\mu;\tilde{Y}) $ 中的稠密性，分别刻画了紧致-通用性和标准-通用性。

ABSTRACT

This paper is devoted to the study of vector valued reproducing kernel Hilbert spaces. We focus on two aspects: vector valued feature maps and universal kernels. In particular we characterize the structure of translation invariant kernels on abelian groups and we relate it to the universality problem.

研究动机与目标

• 将标量值再生核希尔伯特空间（RKHS）的理论扩展至向量值情形，尤其在学习理论背景下。
• 澄清并统一向量值RKHS中通用性的定义，区分标准通用性与紧致-通用性。
• 建立基于与核相关联的积分算子单射性的通用性表征。
• 系统性地处理向量值核的特征映射，实现显式构造并支持算法解释。
• 分析阿贝尔群上平移不变核的结构，并将其与通用性条件关联。

提出的方法

• 通过将特征映射定义为从输入空间 $ X $ 到 $ \mathcal{Y} $ 与特征空间 $ \mathcal{H} $ 之间有界算子的映射，将标量特征映射框架扩展至向量值RKHS。
• 利用Schur乘积引理，通过特征映射刻画标量核与向量值核的乘积。
• 应用Riesz-Markov-Kakutani表示定理，将 $ \mathcal{C}_0(X;\mathcal{Y}) $ 的对偶空间识别为 $ \mathcal{Y} $-值测度的空间。
• 通过与 $ \mathcal{Y} $-值测度 $ \mathsf{M} $ 相关联的积分算子 $ T_\mathsf{M} $ 的单射性刻画通用性，将其与在 $ L^2(X,\mu;\mathcal{Y}) $ 中的稠密性联系起来。
• 区分标准通用性（对所有概率测度 $ \mu $，在 $ L^2(X,\mu;\mathcal{Y}) $ 中稠密）与紧致-通用性（在 $ \mathcal{C}_0(X;\mathcal{Y}) $ 或 $ \mathcal{C}(X;\mathcal{Y}) $ 中稠密，采用紧致-开拓扑）。
• 证明对于在无穷远处趋于零的连续函数，通用性等价于在 $ \mathcal{C}_0(X;\mathcal{Y}) $ 中的稠密性，而紧致-通用性等价于在 $ \mathcal{C}(X;\mathcal{Y}) $ 中的稠密性（采用紧致-开拓扑）。

实验结果

研究问题

• RQ1 当输入空间 $ X $ 非紧致时，向量值RKHS的通用性应如何正确刻画？
• RQ2 标准通用性与紧致-通用性的概念之间有何关系？二者在一般情况下是否等价？
• RQ3 能否通过其关联积分算子的单射性来刻画向量值核的通用性？
• RQ4 如何系统性地构造向量值核的特征映射？其在学习算法中扮演何种角色？
• RQ5 阿贝尔群上平移不变向量值核的结构是怎样的？其与通用性条件有何关联？

主要发现

• 在 $ \mathcal{H}_K $ 的元素连续且在无穷远处趋于零的条件下，向量值RKHS $ \mathcal{H}_K $ 的通用性等价于 $ \mathcal{H}_K $ 在所有 $ X $ 上的概率测度 $ \mu $ 下的 $ L^2(X,\mu;\mathcal{Y}) $ 中的稠密性。
• 对于非紧致 $ X $，标准通用性与紧致-通用性不等价，论文通过两个反例予以说明。
• 在紧致-开拓扑下，紧致-通用性等价于 $ \mathcal{H}_K $ 在 $ \mathcal{C}(X;\mathcal{Y}) $ 中的稠密性。
• 与 $ \mathcal{Y} $-值测度 $ \mathsf{M} $ 相关联的积分算子 $ T_\mathsf{M} $ 是单射当且仅当 $ \mathcal{H}_K $ 在 $ \mathcal{C}_0(X;\mathcal{Y}) $ 中稠密，从而为通用性提供了一个泛函分析准则。
• 特征映射构造使得向量值RKHS可显式实现为具体希尔伯特空间的闭子空间，从而便于在正则化最小二乘等学习任务中进行算法实现。
• 本文使用特征映射为向量值核的Schur乘积引理提供了新证明，相比先前处理方式，方法更基础且更清晰透明。