[論文レビュー] Functional learning through kernels

Stéphane Canu, Xavier Mary+1 more|arXiv (Cornell University)|Oct 6, 2009

Neural Networks and Applications参考文献 18被引用数 31

ひとこと要約

この論文は、再生核ヒルバート空間（r.k.h.s.）を非ヒルバート型の設定へ一般化するために、一般化された再生核双対性を導入し、非正定値カーネル、非ヒルバートノルム（例：L¹）、および任意の安定化子の使用を可能にした。一般化されたレプロダーサー定理を確立し、ヒルバート空間の枠組み外でも学習問題の解がカーネル関数の線形結合として残ることを証明した。これにより、多様な学習マシンがより広範な理論的枠組みの下に統合された。

ABSTRACT

This paper reviews the functional aspects of statistical learning theory. The main point under consideration is the nature of the hypothesis set when no prior information is available but data. Within this framework we first discuss about the hypothesis set: it is a vectorial space, it is a set of pointwise defined functions, and the evaluation functional on this set is a continuous mapping. Based on these principles an original theory is developed generalizing the notion of reproduction kernel Hilbert space to non hilbertian sets. Then it is shown that the hypothesis set of any learning machine has to be a generalized reproducing set. Therefore, thanks to a general "representer theorem", the solution of the learning problem is still a linear combination of a kernel. Furthermore, a way to design these kernels is given. To illustrate this framework some examples of such reproducing sets and kernels are given.

研究の動機と目的

• 理論的学習フレームワークと、非正定値または非ヒルバート型正則化子を用いる実用的学習マシンとの間のギャップを埋めること。
• ヒルバート空間構造を必要とせずに r.k.h.s. の主要な性質を保ちながら、関数的学習の一般枠組みを確立すること。
• 非ヒルバート型仮説集合に適用可能な一般化されたレプロダーサー定理を導出すること。
• 任意の安定化子と双対ペアを用いて、カーネルおよび仮説空間を体系的に構築する方法を提供すること。
• tanh カーネルや L¹ 正則化を用いるような多様な学習手法を、一つの理論的基盤の下に統合すること。

提案手法

• 内積の代わりに、仮説空間と評価空間の間の双対写像を用いる双対性に基づくフレームワークを導入する。
• 仮説空間上で評価関数が連続であることを要件とする、一般化された再生核双対性を定義する。
• 双対性を用いてカーネル作用素から仮説空間を構築し、標準的な r.k.h.s. の構成をヒルバート空間から非ヒルバート型設定へ一般化する。
• 例として (L¹, L∞) 双対性や、点付き収束位相を備えたすべての実数値関数の空間を適用する。
• 可分なヒルバート空間上での任意のカーネル作用素が行列として表現可能であることを示し、ℓ² 構造から可分な一般化された r.k.h.s. を構築可能であることを示す。
• 非ヒルバート型設定においても、学習問題の解が訓練点におけるカーネル関数の線形結合であることを示すことで、一般化されたレプロダーサー定理を導出する。

実験結果

リサーチクエスチョン

• RQ1 再生核理論をヒルバート空間を超えて一般化することは可能か？ また、カーネル展開による解の表現といった学習の基本的性質を保ち続けられるか？
• RQ2 非正定値カーネル（例：tanh カーネル）や非ヒルバートノルム（例：L¹）を、統一的な学習フレームワーク内で形式的に正当化できるか？
• RQ3 非ヒルバート型仮説空間において、評価関数が連続であることを保証する条件は何か？
• RQ4 任意の安定化子と非ヒルバートノルムを用いる学習マシンに適用可能な一般化されたレプロダーサー定理は存在するか？
• RQ5 一般化された再生核双対性を生成するカーネル作用素を体系的に構築する方法は何か？

主な発見

• 任意の学習マシンの仮説空間は一般化された再生集合でなければならない。これにより、解がカーネル関数の線形結合として表現可能であることが保証される。
• 評価関数は仮説空間上で連続である。これは安定な関数推定のための基礎的要件である。
• 双曲正接カーネルのような非正定値カーネルも、一般化された枠組み内で形式的に正当化可能である。
• 双対ペアの空間を定義することにより、L¹ や L∞ といった非ヒルバートノルムをサポートし、再生性を保つ。
• 標準的な ℓ² 空間からカーネル作用素を用いて、可分な一般化された r.k.h.s. を構築可能である。これにより実装が可能になる。
• 一般化されたレプロダーサー定理が成立する：非ヒルバート型設定においても、学習問題の解は訓練入力におけるカーネル関数の線形結合である。