[論文レビュー] Metrizing Weak Convergence with Maximum Mean Discrepancies

Carl-Johann Simon-Gabriel, Alessandro Barp+2 more|arXiv (Cornell University)|Jun 16, 2020

Mathematical Approximation and Integration参考文献 32被引用数 19

ひとこと要約

本稿は、局所コンパクトで非コンパクトなハウスドルフ空間上における有界連続カーネルに対して、最大平均差分（MMD）が弱収束を測度づけるための完全な特徴付けを提供する。MMDが弱収束を測度づけるのは、カーネルが連続的かつ積分的厳密正定値（int-strictly positive definite）であるとき、かつそのときに限り、Simon-GabrielおよびSchölkopf（2018）による先行の特徴付けを是正する。

ABSTRACT

This paper characterizes the maximum mean discrepancies (MMD) that metrize the weak convergence of probability measures for a wide class of kernels. More precisely, we prove that, on a locally compact, non-compact, Hausdorff space, the MMD of a bounded continuous Borel measurable kernel k, whose reproducing kernel Hilbert space (RKHS) functions vanish at infinity, metrizes the weak convergence of probability measures if and only if k is continuous and integrally strictly positive definite (i.s.p.d.) over all signed, finite, regular Borel measures. We also correct a prior result of Simon-Gabriel & Schölkopf (JMLR, 2018, Thm.12) by showing that there exist both bounded continuous i.s.p.d. kernels that do not metrize weak convergence and bounded continuous non-i.s.p.d. kernels that do metrize it.

研究の動機と目的

• MMD距離が確率測度の弱収束を完全に捉える条件を解明すること。
• Simon-GabrielおよびSchölkopf（2018）が提唱した、int-s.p.d.カーネルが常に弱収束を測度づけると主張する誤った特徴付けを是正すること。
• 非コンパクトの場合にMMDが弱収束を測度づけるための、必要なかつ十分な明確な条件を確立すること。これはコンパクトの場合よりも制限が厳しい。
• MMDが弱収束を測度づけるための主要な構造的要件として、カーネルのRKHS関数が無限大で消えること（すなわち、$\mathscr{C}_0$に属すること）を示すこと。
• int-s.p.d.および非int-s.p.d.カーネルの両方が、その関数的挙動に応じて弱収束を測度づけることができることを示し、従来の仮定に疑問を呈すること。

提案手法

• 再生核ヒルベルト空間（RKHS）理論および測度論の関数解析的道具を用いて、MMDと弱収束の関係を分析する。
• 積分的厳密正定値（int-s.p.d.）カーネルの概念を適用する。これは、すべての非ゼロの有限符号付き測度$\mu$に対して$\int \! \! \! \int k(x,y) \, d\mu(x) \, d\mu(y) > 0$を満たすカーネルである。
• RKHS関数が無限大で消える条件（$\mathcal{H}_k \subset \mathscr{C}_0$）の下で、MMDが弱収束を測度づけるのは、カーネルが連続的かつint-s.p.d.であるとき、かつそのときに限りであることを確立する。
• Simon-GabrielおよびSchölkopf（2018）の主張、すなわちint-s.p.d.カーネルは常に弱収束を測度づけるという主張を否定する反例を構築する。
• カーネルを$k_P^a(x,y) = \langle \delta_x - P, \delta_y - P \rangle_k + a$として変換することにより、元のカーネルがint-s.p.d.かつ$\mathscr{C}_0$条件を満たす場合、$\mathcal{H}_{k_P^a} \not\subset \mathscr{C}_0$であっても弱収束を測度づけることができる、ことを示す。
• MMDが$\mathcal{P}$上での$k_P^a$と$k$で同一であり、測度づけの性質が保存されることを用いる。

実験結果

リサーチクエスチョン

• RQ1 有界連続カーネルが局所コンパクトで非コンパクトなハウスドルフ空間上での確率測度の弱収束をMMDが測度づける条件は何か？
• RQ2 RKHS関数が無限大で消えるとき、MMDが弱収束を測度づけるためにint-s.p.d.であることが必要かつ十分であるか？
• RQ3 RKHS関数が$\mathscr{C}_0$に属さないカーネルであっても、連続的かつint-s.p.d.なカーネルから導出された場合、弱収束を測度づけることができるか？
• RQ4 int-s.p.d.であるが弱収束を測度づけない有界連続カーネル、あるいは非int-s.p.d.であるが弱収束を測度づけるカーネルは存在するか？
• RQ5 コンパクト空間と非コンパクト空間におけるMMDの測度づけ性質には、どのような相違があるか？

主な発見

• 局所コンパクトで非コンパクトなハウスドルフ空間上では、MMDが弱収束を測度づけるのは、カーネルが連続的かつ積分的厳密正定値（int-s.p.d.）であるとき、かつそのときに限り、RKHS関数が無限大で消える条件（$\mathcal{H}_k \subset \mathscr{C}_0$）を満たす場合に限る。
• Simon-GabrielおよびSchölkopf（2018）の主張、すなわちすべてのint-s.p.d.カーネルが弱収束を測度づけるという主張を、反例を用いて是正する。具体的には、弱収束を測度づけない有界連続なint-s.p.d.カーネルの例を構築する。
• 本稿は、有界連続な非int-s.p.d.カーネルが弱収束を測度づける例も示しており、int-s.p.d.が測度づけに必要ではないことを示している。
• 新しいカーネルクラス$k_P^a(x,y) = \langle \delta_x - P, \delta_y - P \rangle_k + a$を導入し、$\mathcal{P}$上でのMMDを保存する。$k$が連続的かつint-s.p.d.であれば、$\mathcal{H}_{k_P^a} \not\subset \mathscr{C}_0$であっても弱収束を測度づけることができる。
• 結果として、コンパクト空間と非コンパクト空間には根本的な非対称性があることが明らかになった。非コンパクト空間では、測度づけに強い条件、特に$\mathscr{C}_0$条件が必要となる。
• これらの知見は、一般的に用いられるスティールカーネルが、注意深く構築されない限り弱収束を測度づけない可能性を示しており、MMDに基づく学習におけるカーネル選択には、こうした微細な関数解析的性質を考慮する必要があることを示唆している。