[论文解读] Kernel Distribution Embeddings: Universal Kernels, Characteristic Kernels and Kernel Metrics on Distributions

Carl-Johann Simon-Gabriel, Bernhard Schölkopf|arXiv (Cornell University)|Apr 18, 2016

Image and Signal Denoising Methods参考文献 30被引用 30

一句话总结

本文为概率测度和广义分布（Schwartz分布）到再生核希尔伯特空间（RKHS）的核均值嵌入（KMEs）建立了理论基础。它提出一个统一框架，将通用核、特征核与严格正定核联系起来，证明当且仅当核是连续且特征核时，RKHS距离才度量概率测度的弱收敛。该研究将KMEs从有限测度推广至分布，通过对偶性和拓扑分析确保了嵌入的单射性和连续性。

ABSTRACT

Kernel mean embeddings have recently attracted the attention of the machine learning community. They map measures $μ$ from some set $M$ to functions in a reproducing kernel Hilbert space (RKHS) with kernel $k$. The RKHS distance of two mapped measures is a semi-metric $d_k$ over $M$. We study three questions. (I) For a given kernel, what sets $M$ can be embedded? (II) When is the embedding injective over $M$ (in which case $d_k$ is a metric)? (III) How does the $d_k$-induced topology compare to other topologies on $M$? The existing machine learning literature has addressed these questions in cases where $M$ is (a subset of) the finite regular Borel measures. We unify, improve and generalise those results. Our approach naturally leads to continuous and possibly even injective embeddings of (Schwartz-) distributions, i.e., generalised measures, but the reader is free to focus on measures only. In particular, we systemise and extend various (partly known) equivalences between different notions of universal, characteristic and strictly positive definite kernels, and show that on an underlying locally compact Hausdorff space, $d_k$ metrises the weak convergence of probability measures if and only if $k$ is continuous and characteristic.

研究动机与目标

• 统一并推广现有关于测度与分布核均值嵌入（KMEs）结果的理论。
• 阐明KMEs具有单射性以及诱导的核度量度量弱收敛的条件。
• 通过使用对偶性和拓扑推理，将KMEs从有限Borel测度扩展至Schwartz分布。
• 系统化不同函数空间中通用核、特征核与严格正定核之间的等价关系。
• 通过强对偶拓扑建立KMEs向分布的连续性和唯一性扩展。

提出的方法

• 利用函数空间与其对偶之间的对偶性，将KMEs从测度扩展至分布，借助Riesz表示定理。
• 应用Riesz-Markov-Kakutani定理，将有限Borel测度识别为C₀(X)上的连续线性泛函。
• 证明若RKHS连续嵌入C₀(X)，则其对偶嵌入将分布映射至RKHS对偶，而后者通过Riesz表示定理同构于RKHS。
• 通过要求嵌入映射Φₖ在空间M上为单射，引入M上特征核的概念。
• 使用Banach-Steinhaus定理和筒状空间理论，确保线性泛函族的等连续性和有界性。
• 证明核在F′（F的对偶）上为特征核，当且仅当其在F上为通用核，从而通过对应关系将通用性与特征性联系起来。

实验结果

研究问题

• RQ1 在何种集合M上，核可诱导出定义良好的核均值嵌入？
• RQ2 在何种条件下，核均值嵌入在M上为单射，使其诱导的RKHS距离成为合适的度量？
• RQ3 由核度量dk诱导的拓扑与M上的弱收敛和窄收敛拓扑相比如何？
• RQ4 核均值嵌入能否从测度连续且唯一地扩展至Schwartz分布？
• RQ5 在局部紧Hausdorff空间上，核度量dk在何种条件下度量概率测度的弱收敛？

主要发现

• 核均值嵌入Φₖ在集合M上为单射，当且仅当核在M上为特征核，这等价于核在M上函数空间上为严格正定核。
• 在局部紧Hausdorff空间上，核度量dk度量概率测度的窄收敛，当且仅当核连续且为特征核。
• 任何在紧支集有限测度上为特征核的光滑平稳核，也必为更大空间——紧支集分布空间上的特征核。
• KMEs向紧支集分布的扩展，是标准KME在测度上的唯一连续线性扩展。
• 当且仅当核在F上为通用核时，函数空间F的对偶才连续嵌入RKHS对偶，从而通过对应关系将通用性与特征性联系起来。
• 本文指出了定理37和定理40证明中的缺陷，当前版本尚未更正，建议参考JMLR版本以获取更正结果。