[论文解读] Hilbert space embeddings and metrics on probability measures

Bharath K. Sriperumbudur, Arthur Gretton+3 more|arXiv (Cornell University)|Jul 30, 2009

Topological and Geometric Data Analysis参考文献 45被引用 195

一句话总结

本文通过再生核希尔伯特空间（RKHS）引入了概率测度的希尔伯特空间嵌入，基于核诱导的内积定义了分布之间的伪度量 $\gamma_k$。关键贡献在于确定了 $\gamma_k$ 成为正规度量的条件——即当且仅当核是特征核（亦即其为积分严格正定），或在 $\mathbb{R}^d$ 上有界平移不变核时，其傅里叶变换在 $\mathbb{R}^d$ 上具有全支撑。这确保了所有概率测度的唯一嵌入。

ABSTRACT

A Hilbert space embedding for probability measures has recently been proposed, with applications including dimensionality reduction, homogeneity testing, and independence testing. This embedding represents any probability measure as a mean element in a reproducing kernel Hilbert space (RKHS). A pseudometric on the space of probability measures can be defined as the distance between distribution embeddings: we denote this as $γ_k$, indexed by the kernel function $k$ that defines the inner product in the RKHS. We present three theoretical properties of $γ_k$. First, we consider the question of determining the conditions on the kernel $k$ for which $γ_k$ is a metric: such $k$ are denoted {\em characteristic kernels}. Unlike pseudometrics, a metric is zero only when two distributions coincide, thus ensuring the RKHS embedding maps all distributions uniquely (i.e., the embedding is injective). While previously published conditions may apply only in restricted circumstances (e.g. on compact domains), and are difficult to check, our conditions are straightforward and intuitive: bounded continuous strictly positive definite kernels are characteristic. Alternatively, if a bounded continuous kernel is translation-invariant on $\bb{R}^d$, then it is characteristic if and only if the support of its Fourier transform is the entire $\bb{R}^d$. Second, we show that there exist distinct distributions that are arbitrarily close in $γ_k$. Third, to understand the nature of the topology induced by $γ_k$, we relate $γ_k$ to other popular metrics on probability measures, and present conditions on the kernel $k$ under which $γ_k$ metrizes the weak topology.

研究动机与目标

• 建立理论条件，以确保基于核的伪度量 $\gamma_k$ 在概率测度上成为正规度量。
• 阐明核选择在决定 $\gamma_k$ 是否能区分所有不同概率分布中的作用。
• 将 $\gamma_k$ 与弱收敛及其他经典概率度量联系起来。
• 提供直观且可验证的特征核条件，以克服先前更严格或不切实际的判据的局限性。

提出的方法

• 通过映射 $\mathbb{P} \mapsto \int k(\cdot, x)\,d\mathbb{P}(x)$ 将每个概率测度 $\mathbb{P}$ 表示为 RKHS 中的元素，从而将分布嵌入希尔伯特空间。
• 定义伪度量 $\gamma_k(\mathbb{P}, \mathbb{Q}) = \|\mu_\mathbb{P} - \mu_\mathbb{Q}\|_{\mathcal{H}}$，其中 $\mu_\mathbb{P}$ 是 $\mathbb{P}$ 在 RKHS 中的均值嵌入。
• 证明 $\gamma_k$ 为度量（即 $\gamma_k(\mathbb{P}, \mathbb{Q}) = 0 \Rightarrow \mathbb{P} = \mathbb{Q}$）当且仅当核 $k$ 是特征核。
• 利用傅里叶分析证明：在 $\mathbb{R}^d$ 上有界、连续、平移不变的核是特征核，当且仅当其傅里叶变换的支撑为整个 $\mathbb{R}^d$。
• 证明 $\gamma_k$ 对分布差异在高频部分的表现敏感，从而解释该度量对分布差异的敏感性。
• 通过识别 $\gamma_k$ 在何种条件下度量化概率测度上的弱拓扑，将其与弱收敛联系起来。

实验结果

研究问题

• RQ1 在何种核 $k$ 的条件下，伪度量 $\gamma_k$ 成为正规度量，从而确保不同分布被映射为 RKHS 中的不同点？
• RQ2 对于 $\mathbb{R}^d$ 上的平移不变核，其特征性质如何通过其傅里叶变换表征？
• RQ3 分布差异的频谱成分与 $\gamma_k$ 对这些差异的敏感性之间存在何种关系？
• RQ4 从拓扑角度看，$\gamma_k$ 以何种方式诱导概率测度的收敛？它在何种条件下度量化弱收敛？

主要发现

• 当且仅当核 $k$ 是积分严格正定核时，$k$ 为特征核（即通过 $\gamma_k$ 诱导度量）。
• 对于 $\mathbb{R}^d$ 上有界、连续、平移不变的核，当且仅当其傅里叶变换的支撑为整个 $\mathbb{R}^d$ 时，该核为特征核。
• 度量 $\gamma_k$ 对发生在高频部分的分布差异敏感，意味着这些差异在 RKHS 嵌入中更容易被检测到。
• 当核 $k$ 满足某些正则性和支撑条件（尤其是当核为普遍核时），$\gamma_k$ 所诱导的拓扑度量化了概率测度上的弱收敛。
• 当且仅当 $k$ 为特征核时，嵌入是单射的（即所有分布被唯一表示）。
• 距离 $\gamma_k(\mathbb{P}, \mathbb{Q})$ 可通过 $\sqrt{mn/(m+n)}$-一致估计器从样本中一致估计，支持同质性检验与独立性检验等统计应用。