[論文レビュー] Vector valued reproducing kernel Hilbert spaces and universality

Claudio Carmeli, Ernesto De Vito+2 more|ArXiv.org|Jul 10, 2008

Mathematical Analysis and Transform Methods参考文献 26被引用数 6

ひとこと要約

本稿は、特徴写像、普遍的カーネル、並進不変カーネルに注目して、ベクトル値再生核ヒルベルト空間（vRKHS）の包括的な理論を確立する。vRKHSの普遍性がその積分作用素の単射性と同値であることを証明し、連続性の仮定の下で、$ C_0(X;\tilde{Y}) $ および $ L^2(X,\mu;\tilde{Y}) $ における稠密性によって、コンパクト普遍性と標準普遍性を特徴づける。

ABSTRACT

This paper is devoted to the study of vector valued reproducing kernel Hilbert spaces. We focus on two aspects: vector valued feature maps and universal kernels. In particular we characterize the structure of translation invariant kernels on abelian groups and we relate it to the universality problem.

研究の動機と目的

• スカラー値再生核ヒルベルト空間（RKHS）の理論を、特に学習理論の文脈において、ベクトル値の場合に拡張すること。
• ベクトル値RKHSにおける普遍性の定義を明確化し統一し、標準普遍性とコンパクト普遍性を区別すること。
• カーネルに関連する積分作用素の単射性を用いて、普遍性の特徴づけを確立すること。
• 特徴写像の体系的取り扱いを提供し、明示的な構成とアルゴリズム的解釈を可能にすること。
• アーベル群上の並進不変カーネルを分析し、その構造が普遍性条件とどのように関係するかを明らかにすること。

提案手法

• 入力空間 $ X $ から $ \mathcal{Y} $ と特徴空間 $ \mathcal{H} $ 間の有界作用素への写像として、特徴写像をベクトル値RKHSに拡張して定義する。
• シュール積の補題を用いて、スカラー値カーネルとベクトル値カーネルの積を特徴写像によって特徴づける。
• リース＝マルコフ＝カクタニ表現定理を適用し、$ \mathcal{C}_0(X;\mathcal{Y}) $ の双対を $ \mathcal{Y} $-値測度の空間に同定する。
• カーネルに関連する $ \mathcal{Y} $-値測度 $ \mathsf{M} $ と関連する積分作用素 $ T_\mathsf{M} $ の単射性を用いて普遍性を特徴づけ、$ L^2(X,\mu;\mathcal{Y}) $ における稠密性と結びつける。
• 標準普遍性（すべての確率測度 $ \mu $ に対して $ L^2(X,\mu;\mathcal{Y}) $ に稠密）とコンパクト普遍性（コンパクト開位相における $ \mathcal{C}_0(X;\mathcal{Y}) $ や $ \mathcal{C}(X;\mathcal{Y}) $ に稠密）を区別する。
• 無限遠で消える連続関数に対して、普遍性が $ \mathcal{C}_0(X;\mathcal{Y}) $ における稠密性と同値であり、コンパクト普遍性がコンパクト開位相における $ \mathcal{C}(X;\mathcal{Y}) $ における稠密性と同値であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 入力空間 $ X $ が非コンパクトである場合、ベクトル値RKHSにおける普遍性の正しい特徴づけは何か？
• RQ2 標準普遍性とコンパクト普遍性の概念はどのように関係し合い、一般には同値であるか？
• RQ3 ベクトル値カーネルの普遍性は、関連する積分作用素の単射性によって特徴づけられるか？
• RQ4 ベクトル値カーネルに対して特徴写像を体系的に構成する方法は何か？また、学習アルゴリズムにおけるその役割は何か？
• RQ5 アーベル群上の並進不変ベクトル値カーネルの構造は何か？そして、それが普遍性条件とどのように関係するか？

主な発見

• ベクトル値RKHS $ \mathcal{H}_K $ の普遍性は、$ \mathcal{H}_K $ の元が連続かつ無限遠で消えるという条件下で、すべての $ X $ 上の確率測度 $ \mu $ に対して $ \mathcal{H}_K $ が $ L^2(X,\mu;\mathcal{Y}) $ に稠密であることと同値である。
• 非コンパクトな $ X $ に対しては、標準普遍性とコンパクト普遍性は同値でないことが、本稿で二つの反例によって示された。
• コンパクト普遍性は、コンパクト開位相における $ \mathcal{C}(X;\mathcal{Y}) $ への $ \mathcal{H}_K $ の稠密性と同値である。
• $ \mathcal{Y} $-値測度 $ \mathsf{M} $ に関連する積分作用素 $ T_\mathsf{M} $ が単射であることは、$ \mathcal{H}_K $ が $ \mathcal{C}_0(X;\mathcal{Y}) $ に稠密であることと同値であり、普遍性の関数解析的基準を提供する。
• 特徴写像の構成により、ベクトル値RKHSを具体的なヒルベルト空間の閉部分空間として明示的に実現でき、正則化最小二乗法などの学習タスクにおけるアルゴリズム的実装を容易にする。
• 本稿では、特徴写像を用いて、ベクトル値カーネルに対するシュール積の補題の新しい証明を提供し、従来の処理よりもより素朴で明確なアプローチを提供する。