[論文レビュー] Universality, Characteristic Kernels and RKHS Embedding of Measures

Bharath K. Sriperumbudur, Kenji Fukumizu+1 more|arXiv (Cornell University)|Mar 3, 2010

Statistical Methods and Inference参考文献 22被引用数 91

ひとこと要約

本稿は、有限符号付きボレル測度を再生核ヒルバート空間（RKHS）へ埋め込むための新しいヒルバート空間埋め込みを導入し、その埋め込みがユニバーサル核であるときかつそのときに限り単射であることを示している。これは、測度埋め込みを通じたユニバーサル核の新たな特徴付けを提供し、ユニバーサル性を核に基づく学習の一貫性と結びつけ、ユニバーサル核と特徴的核の間の正式な関係を確立する。

ABSTRACT

A Hilbert space embedding for probability measures has recently been proposed, wherein any probability measure is represented as a mean element in a reproducing kernel Hilbert space (RKHS). Such an embedding has found applications in homogeneity testing, independence testing, dimensionality reduction, etc., with the requirement that the reproducing kernel is characteristic, i.e., the embedding is injective. In this paper, we generalize this embedding to finite signed Borel measures, wherein any finite signed Borel measure is represented as a mean element in an RKHS. We show that the proposed embedding is injective if and only if the kernel is universal. This therefore, provides a novel characterization of universal kernels, which are proposed in the context of achieving the Bayes risk by kernel-based classification/regression algorithms. By exploiting this relation between universality and the embedding of finite signed Borel measures into an RKHS, we establish the relation between universal and characteristic kernels.

研究の動機と目的

• 確率測度のRKHS埋め込みを有限符号付きボレル測度へ一般化すること。
• 符号付き測度のRKHS埋め込みの単射性を用いたユニバーサル核の新たな特徴付けを確立すること。
• 関数近似のためのユニバーサル核と確率測度埋め込みのための特徴的核との関係を明確にすること。
• 測度論的視点から、核法における異なるユニバーサル性の概念を統一すること。
• ℝᵈ 上の平行移動不変かつ径数核に対して、ユニバーサル性と特徴的性質が同値であることを示すこと。

提案手法

• 有限符号付きボレル測度 μ のRKHS埋め込みを ∫ₐ k(·,x) dμ(x) ∈ ℋ として定義する。
• リースの表現定理を用いて、ℋ 上の評価汎関数が埋め込まれた測度との内積に対応することを示す。
• ハーン＝バナッハの定理および稠密部分空間の性質を用いて、埋め込みがユニバーサル核であるときかつそのときに限り単射であることを証明する。
• 符号付き測度のRKHSへの埋め込みの単射性とユニバーサル性の同値性を確立する。
• 既存のユニバーサル核に関する結果（例：Steinwart, 2001; Micchelli et al., 2006）を活用し、埋め込みフレームワークと学習の一貫性を結びつける。
• 平行移動不変かつ径数核がℝᵈ 上に存在する場合、ユニバーサル性が特徴的性質を含み、逆も成り立つことを示す。

実験結果

リサーチクエスチョン

• RQ1 有限符号付きボレル測度のRKHS埋め込みが単射であるための条件は何か？
• RQ2 符号付き測度の埋め込みの単射性はユニバーサル核の概念とどのように関係するか？
• RQ3 RKHS埋め込みの文脈において、ユニバーサル核と特徴的核の関係は何か？
• RQ4 測度埋め込みフレームワークは、関数近似とは異なるユニバーサル性の新たな特徴付けを提供できるか？
• RQ5 ℝᵈ 上の平行移動不変かつ径数核に対して、ユニバーサル核と特徴的核は同値か？

主な発見

• 有限符号付きボレル測度のRKHS埋め込みは、核がユニバーサルであるときかつそのときに限り単射である。
• この結果は、古典的な関数近似の視点とは異なる、測度埋め込みに基づくユニバーサル核の新たな特徴付けを提供する。
• 本稿は、符号付き測度のRKHSへの埋め込みが単射である核が、まさにユニバーサル核であることを確立する。
• ℝᵈ 上の平行移動不変かつ径数核に対しては、ユニバーサル性と特徴的性質が同値である。
• ユニバーサル性と符号付き測度の単射埋め込みの関係は、核に基づく学習の一貫性とRKHSの構造を結びつける。
• 最近のc₀-ユニバーサル性に関する結果を活用し、Lᵖ-ユニバーサル性とRKHS埋め込みを関連づけることで、より包括的な理論枠組みを完成させる。