[論文レビュー] Hilbert space embeddings and metrics on probability measures

Bharath K. Sriperumbudur, Arthur Gretton+3 more|arXiv (Cornell University)|Jul 30, 2009

Topological and Geometric Data Analysis参考文献 45被引用数 195

ひとこと要約

本稿では、再生核ヒルバート空間（RKHS）を用いた確率測度のヒルバート空間埋め込みを導入し、カーネルに由来する内積に基づいて、分布間の擬距離 $γ_k$ を定義する。主な貢献は、$γ_k$ が適切な距離となるための条件を同定することである。具体的には、カーネルが特徴的（すなわち、距離を誘導する）であるための必要十分条件として、カーネルが積分的厳密正定値であること、または $π^d$ 上の有界で並進不変なカーネルに関しては、そのフーリエ変換の台が $π^d$ 全体にわたることである。これにより、すべての確率測度が一意に埋め込まれることが保証される。

ABSTRACT

A Hilbert space embedding for probability measures has recently been proposed, with applications including dimensionality reduction, homogeneity testing, and independence testing. This embedding represents any probability measure as a mean element in a reproducing kernel Hilbert space (RKHS). A pseudometric on the space of probability measures can be defined as the distance between distribution embeddings: we denote this as $γ_k$, indexed by the kernel function $k$ that defines the inner product in the RKHS. We present three theoretical properties of $γ_k$. First, we consider the question of determining the conditions on the kernel $k$ for which $γ_k$ is a metric: such $k$ are denoted {\em characteristic kernels}. Unlike pseudometrics, a metric is zero only when two distributions coincide, thus ensuring the RKHS embedding maps all distributions uniquely (i.e., the embedding is injective). While previously published conditions may apply only in restricted circumstances (e.g. on compact domains), and are difficult to check, our conditions are straightforward and intuitive: bounded continuous strictly positive definite kernels are characteristic. Alternatively, if a bounded continuous kernel is translation-invariant on $\bb{R}^d$, then it is characteristic if and only if the support of its Fourier transform is the entire $\bb{R}^d$. Second, we show that there exist distinct distributions that are arbitrarily close in $γ_k$. Third, to understand the nature of the topology induced by $γ_k$, we relate $γ_k$ to other popular metrics on probability measures, and present conditions on the kernel $k$ under which $γ_k$ metrizes the weak topology.

研究の動機と目的

• 確率測度上のカーネルに基づく擬距離 $\gamma_k$ が適切な距離となる理論的条件を確立すること。
• $\gamma_k$ がすべての異なる確率分布を区別できるかどうかを決定づけるカーネル選択の役割を明確にすること。
• $\gamma_k$ と弱収束および他の古典的確率的距離との関係を明らかにすること。
• 特徴的カーネルを直感的かつ検証可能な条件で特定することにより、従来のより制限的または実用的でない基準の限界を克服すること。

提案手法

• 各確率測度 $\mathbb{P}$ を、写像 $\mathbb{P} \mapsto \int k(\cdot, x)\,d\mathbb{P}(x)$ を通じて RKHS の要素に写像することで、分布をヒルバート空間に埋め込む。
• 擬距離 $\gamma_k(\mathbb{P}, \mathbb{Q}) = \|\mu_\mathbb{P} - \mu_\mathbb{Q}\|_{\mathcal{H}}$ を定義する。ここで $\mu_\mathbb{P}$ は $\mathbb{P}$ の RKHS 平均埋め込みである。
• $\gamma_k$ が距離（すなわち、$\gamma_k(\mathbb{P}, \mathbb{Q}) = 0 \Rightarrow \mathbb{P} = \mathbb{Q}$）であるための必要十分条件がカーネル $k$ が特徴的であることであることを確立する。
• フーリエ解析を用いて、$π^d$ 上の有界で連続かつ並進不変なカーネルが特徴的であるための必要十分条件が、そのフーリエ変換の台が $π^d$ 全体にわたることであることを示す。
• $\gamma_k$ が分布の違いを高周波数領域で検出できることを示し、このメトリックが分布的差異に対して高い感度を持つことを説明する。
• $\gamma_k$ と弱収束の関係を明らかにし、$\gamma_k$ が確率測度上の弱位相をメトライズする条件を同定する。

実験結果

リサーチクエスチョン

• RQ1 カーネル $k$ にどのような条件を課すと、擬距離 $\gamma_k$ が適切な距離となり、異なる分布が RKHS 内で異なる点に写像されるようになるか？
• RQ2 並進不変なカーネルについて、$π^d$ 上のカーネルの特徴的性質がそのフーリエ変換の性質としてどのように特徴付けられるか？
• RQ3 分布的差異の周波数成分と $\gamma_k$ がそれらの差異に敏感である度合いとの関係は何か？
• RQ4 $\gamma_k$ が確率測度の収束をどのような位相的意味で誘導するか。また、弱収束をメトライズするにはどのような条件下で成立するか？

主な発見

• カーネル $k$ が特徴的（すなわち、$\gamma_k$ を通じて距離を誘導する）であるための必要十分条件は、$k$ が積分的厳密正定値であることである。
• 有界で連続かつ並進不変なカーネルが $π^d$ 上で特徴的であるための必要十分条件は、そのフーリエ変換の台が $π^d$ 全体にわたることである。
• メトリック $\gamma_k$ は、高周波数領域で発生する分布の違いに敏感である。つまり、このような差異は RKHS 埋め込みにおいてより容易に検出可能である。
• カーネル $k$ が十分な正則性および台の条件を満たす場合、$γ_k$ が誘導する位相は、確率測度上の弱収束をメトライズする。特に、カーネルが普遍的（universality）である場合に成立する。
• 埋め込みが単射（すなわち、すべての分布が一意に表現される）であるための必要十分条件は、$k$ が特徴的カーネルであることである。
• $\gamma_k(\mathbb{P}, \mathbb{Q})$ の距離は、$\sqrt{mn/(m+n)}$-一貫性推定器を用いて標本から一貫して推定可能であり、適合性検定や独立性検定などの統計的応用を支援する。