[論文レビュー] Kernel Distribution Embeddings: Universal Kernels, Characteristic Kernels and Kernel Metrics on Distributions

Carl-Johann Simon-Gabriel, Bernhard Schölkopf|arXiv (Cornell University)|Apr 18, 2016

Image and Signal Denoising Methods参考文献 30被引用数 30

ひとこと要約

本稿は、確率測度および一般化された分布（シュワルツ分布）を再生核ヒルベルト空間（RKHS）へ埋め込むためのカーネル平均埋め込み（KME）の理論的基盤を確立する。普遍的、特徴的、および厳密に正定値なカーネルを統一的に結びつけるフレームワークを導入し、RKHS距離が弱収束を測度づけるのは、カーネルが連続的かつ特徴的であるとき、かつそのときに限ることを証明する。本研究はKMEを有限測度にとどまらず分布へと拡張し、双対性および位相的解析を用いて単射性と連続性を保証する。

ABSTRACT

Kernel mean embeddings have recently attracted the attention of the machine learning community. They map measures $μ$ from some set $M$ to functions in a reproducing kernel Hilbert space (RKHS) with kernel $k$. The RKHS distance of two mapped measures is a semi-metric $d_k$ over $M$. We study three questions. (I) For a given kernel, what sets $M$ can be embedded? (II) When is the embedding injective over $M$ (in which case $d_k$ is a metric)? (III) How does the $d_k$-induced topology compare to other topologies on $M$? The existing machine learning literature has addressed these questions in cases where $M$ is (a subset of) the finite regular Borel measures. We unify, improve and generalise those results. Our approach naturally leads to continuous and possibly even injective embeddings of (Schwartz-) distributions, i.e., generalised measures, but the reader is free to focus on measures only. In particular, we systemise and extend various (partly known) equivalences between different notions of universal, characteristic and strictly positive definite kernels, and show that on an underlying locally compact Hausdorff space, $d_k$ metrises the weak convergence of probability measures if and only if $k$ is continuous and characteristic.

研究の動機と目的

• 測度および分布のためのカーネル平均埋め込み（KME）に関する既存の結果を統一的かつ一般化すること。
• KMEが単射となる条件、および誘導されるカーネル距離が弱収束を測度づける条件を明確化すること。
• 双対性および位相的推論を用いて、KMEを有限ボレル測度からシュワルツ分布へと拡張すること。
• さまざまな関数空間における普遍的、特徴的、および厳密に正定値なカーネルの同値性を体系化すること。
• 強い双対位相を用いて、分布へのKME拡張の連続性および一意性を確立すること。

提案手法

• 関数空間とその双対空間の双対性を用いて、KMEを測度から分布へと拡張し、リース表現定理を活用する。
• リース＝マークフ・カクタニの定理を適用して、有限ボレル測度をC₀(X)上の連続線形汎関数と同一視する。
• RKHSがC₀(X)に連続的に埋め込まれるならば、双対埋め込みは分布をRKHSの双対へ写像するが、リース表現によりこの双対空間はRKHSと同型であることを示す。
• 空間M上でカーネルが特徴的であるとは、埋め込み写像ΦₖがM上で単射であることを要件とする。
• バナッハ＝スタインハウスの定理およびバール空間理論を用いて、線形汎関数族の等連続性および有界性を保証する。
• カーネルが空間F′（Fの双対空間）に対して特徴的であることは、F上での普遍性と同値であり、普遍性と特徴的性質を双対性によって結びつける。

実験結果

リサーチクエスチョン

• RQ1 どの集合Mに対してカーネルがwell-definedなカーネル平均埋め込みを誘導できるか？
• RQ2 M上でカーネル平均埋め込みが単射となる条件は何か？ これにより誘導されるRKHS距離が適切な距離となるのはいつか？
• RQ3 カーネル距離dkが誘導する位相は、M上の弱収束および狭義収束位相とどのように比較できるか？
• RQ4 カーネル平均埋め込みを測度からシュワルツ分布へ連続的かつ一意的に拡張できるか？
• RQ5 局所コンパクトハウスドルフ空間上での確率測度の弱収束を、カーネル距離dkが測度づける条件は何か？

主な発見

• カーネル平均埋め込みΦₖが集合M上で単射であるのは、カーネルがM上で特徴的であるとき、かつそのときに限る。これは、M上の関数空間上でカーネルが厳密に正定値であることと同値である。
• 局所コンパクトハウスドルフ空間上では、カーネル距離dkが確率測度の狭義収束を測度づけるのは、カーネルが連続的かつ特徴的であるとき、かつそのときに限る。
• 滑らかで定常的なカーネルがコンパクト台付き有限測度上で特徴的であれば、より大きなコンパクト台付き分布の空間に対しても特徴的である。
• コンパクト台付き分布へのKMEの拡張は、測度上の標準KMEの連続的線形拡張として一意的である。
• 関数空間Fの双対空間がRKHSの双対空間に連続的に埋め込まれるための必要十分条件は、カーネルがF上で普遍的であることである。これにより、双対性を介して普遍性と特徴的性質が結びつけられる。
• 本稿では、定理37および40の証明に欠陥が存在することを特定したが、この版では是正されていない。ただし、修正済みの結果を得るにはJMLR版を推奨する。