[论文解读] Metrizing Weak Convergence with Maximum Mean Discrepancies

Carl-Johann Simon-Gabriel, Alessandro Barp+2 more|arXiv (Cornell University)|Jun 16, 2020

Mathematical Approximation and Integration参考文献 32被引用 19

一句话总结

本文对局部紧致、非紧致、豪斯多夫空间上，有界连续核的最大小 discrepancy（MMD）何时度量弱收敛的概率测度，给出了完整的刻画。证明了当且仅当核是连续且积分严格正定（int-strictly positive definite, int-s.p.d.）时，MMD才度量弱收敛，纠正了 Simon-Gabriel 与 Schölkopf（2018）先前的刻画。

ABSTRACT

This paper characterizes the maximum mean discrepancies (MMD) that metrize the weak convergence of probability measures for a wide class of kernels. More precisely, we prove that, on a locally compact, non-compact, Hausdorff space, the MMD of a bounded continuous Borel measurable kernel k, whose reproducing kernel Hilbert space (RKHS) functions vanish at infinity, metrizes the weak convergence of probability measures if and only if k is continuous and integrally strictly positive definite (i.s.p.d.) over all signed, finite, regular Borel measures. We also correct a prior result of Simon-Gabriel & Schölkopf (JMLR, 2018, Thm.12) by showing that there exist both bounded continuous i.s.p.d. kernels that do not metrize weak convergence and bounded continuous non-i.s.p.d. kernels that do metrize it.

研究动机与目标

• 解决长期存在的问题：MMD 度量是否完全捕捉概率测度的弱收敛。
• 纠正 Simon-Gabriel 与 Schölkopf（2018）的错误刻画，他们曾声称所有 int-s.p.d. 核都度量弱收敛。
• 在非紧致情形下，建立 MMD 度量弱收敛的精确、必要且充分条件，该条件比紧致情形更严格。
• 证明 RKHS 中的核函数必须在无穷远处趋于零（即属于 $\mathscr{C}_0$）是度量化的关键结构要求。
• 表明无论 int-s.p.d. 还是非 int-s.p.d. 核，只要其函数行为合适，都可能度量弱收敛，从而挑战了先前的假设。

提出的方法

• 使用再生核希尔伯特空间（RKHS）理论和测度论中的泛函分析工具，分析 MMD 与弱收敛之间的关系。
• 应用积分严格正定（int-s.p.d.）核的概念，定义为：对所有非零有限 signed 测度 $\mu$，满足 $\int \! \! \! \int k(x,y) \, d\mu(x) \, d\mu(y) > 0$。
• 证明在 $\mathcal{H}_k \subset \mathscr{C}_0$ 条件下，MMD 度量弱收敛当且仅当核是连续且 int-s.p.d.。
• 构造反例以推翻 Simon-Gabriel 与 Schölkopf（2018）的早期主张，即所有 int-s.p.d. 核都度量弱收敛。
• 引入核的变换 $k_P^a(x,y) = \langle \delta_x - P, \delta_y - P \rangle_k + a$，以证明即使核不在 $\mathscr{C}_0$ 中，只要原始核满足 int-s.p.d. 和 $\mathscr{C}_0$ 条件，仍可度量弱收敛。
• 利用 $k_P^a$ 所诱导的 MMD 与 $k$ 在概率测度空间 $\mathcal{P}$ 上完全相同，从而保持度量化性质。

实验结果

研究问题

• RQ1 在局部紧致、非紧致、豪斯多夫空间上，有界连续核所诱导的 MMD 在何种条件下度量概率测度的弱收敛？
• RQ2 当 RKHS 函数在无穷远处趋于零时，积分严格正定（int-s.p.d.）是否为 MMD 度量弱收敛的必要且充分条件？
• RQ3 若核本身不在 $\mathscr{C}_0$ 中，但由连续且 int-s.p.d. 的核导出，是否仍可度量弱收敛？
• RQ4 是否存在有界连续的 int-s.p.d. 核，其无法度量弱收敛？或是否存在非 int-s.p.d. 核却能度量弱收敛？
• RQ5 MMD 的度量化性质在紧致与非紧致底空间之间有何不同？

主要发现

• 在局部紧致、非紧致、豪斯多夫空间上，MMD 度量弱收敛当且仅当核是连续且积分严格正定（int-s.p.d.），前提是 RKHS 函数在无穷远处趋于零（即 $\mathcal{H}_k \subset \mathscr{C}_0$）。
• 本文纠正了 Simon-Gabriel 与 Schölkopf（2018）的主张，即所有 int-s.p.d. 核都度量弱收敛，通过构造反例：一个有界连续的 int-s.p.d. 核，其无法度量弱收敛。
• 本文进一步表明，存在有界连续的非 int-s.p.d. 核，其仍可度量弱收敛，证明 int-s.p.d. 并非度量化的必要条件。
• 提出一类新核 $k_P^a(x,y) = \langle \delta_x - P, \delta_y - P \rangle_k + a$，其在 $\mathcal{P}$ 上保持与 $k$ 相同的 MMD，即使 $\mathcal{H}_{k_P^a} \not\subset \mathscr{C}_0$，只要 $k$ 是连续且 int-s.p.d.，该核仍可度量弱收敛。
• 研究结果揭示了紧致与非紧致空间之间根本的不对称性：非紧致情形下的度量化需要更强的条件，尤其是 $\mathscr{C}_0$ 条件。
• 研究结果表明，如 Stein 核等流行核可能在未精心构造时无法度量弱收敛，且基于 MMD 的学习中核的选择必须考虑这些微妙的泛函分析性质。