[論文レビュー] Kernel machines with two layers and multiple kernel learning

Francesco Dinuzzo|arXiv (Cornell University)|Jan 15, 2010

Neural Networks and Applications参考文献 51被引用数 12

ひとこと要約

本稿では、表現定理を用いてカーネル関数と予測子の共同学習を可能にする二層構造のカーネルマシンフレームワークを提案する。二層構造がデータ適応型カーネルを備えた単層カーネルマシンと等価であることを示し、最先端の性能を示す計算効率の良い複数カーネル学習手法RLS2を提案する。

ABSTRACT

In this paper, the framework of kernel machines with two layers is introduced, generalizing classical kernel methods. The new learning methodology provide a formal connection between computational architectures with multiple layers and the theme of kernel learning in standard regularization methods. First, a representer theorem for two-layer networks is presented, showing that finite linear combinations of kernels on each layer are optimal architectures whenever the corresponding functions solve suitable variational problems in reproducing kernel Hilbert spaces (RKHS). The input-output map expressed by these architectures turns out to be equivalent to a suitable single-layer kernel machines in which the kernel function is also learned from the data. Recently, the so-called multiple kernel learning methods have attracted considerable attention in the machine learning literature. In this paper, multiple kernel learning methods are shown to be specific cases of kernel machines with two layers in which the second layer is linear. Finally, a simple and effective multiple kernel learning method called RLS2 (regularized least squares with two layers) is introduced, and his performances on several learning problems are extensively analyzed. An open source MATLAB toolbox to train and validate RLS2 models with a Graphic User Interface is available.

研究の動機と目的

• 二層構造を導入することで、古典的カーネル手法を一般化し、カーネル関数と予測子の共同学習を可能にする。
• 表現定理を用いて理論的基盤を確立し、最適な二層ネットワークが各層で有限個のカーネル関数の線形結合であることを示す。
• 多層構造と複数カーネル学習の間の関係を明確に定式化する。特に第二層が線形の場合に注目する。
• 二層構造を用いた新しい正則化最小二乗法RLS2を開発・分析し、効率的な複数カーネル学習を実現する。
• 実世界のデータセット（ゲノムデータを含む）においてRLS2の有効性を実証し、GUIを備えたオープンソースのMATLABツールボックスを提供する。

提案手法

• 関数的二層構造 $ f = f_2 \circ f_1 $ を提案：$ f_1: X \to Z $, $ f_2: Z \to Y $ で、$ Z $ および $ Y $ はヒルバート空間である。
• 最適な $ f_1 $ および $ f_2 $ が再生核ヒルバート空間（RKHS）におけるカーネル関数の有限線形結合であることを示す表現定理を導出する。
• 二層構造が学習済みカーネル関数を備えた単層カーネルマシンと数学的に等価であることを示し、ネットワーク学習によるデータ駆動型カーネル選択を可能にする。
• 第二層 $ f_2 $ が線形である場合に注目し、これは複数カーネル学習（MKL）と等価な正則化フレームワークに帰着する。
• 線形方程式の解法と制約付き最小二乗問題の反復解法を交互に実行する二段階最適化手順であるRLS2を導入する。
• 行列分数関数 $ z^T R^rown z $ を用いた凸最適化定式化により、共同凸性と取り扱いやすさを保証する。

実験結果

リサーチクエスチョン

• RQ1 仮説空間が無限次元であっても、二層カーネルマシンに対して表現定理を確立できるか？
• RQ2 二層カーネルマシンフレームワークは、古典的単層カーネル手法および複数カーネル学習とどのように関係しているか？
• RQ3 二層構造と単層でのカーネル学習との間の計算的および理論的同等性は何か？
• RQ4 二層フレームワークから、単純で効率的かつ効果的な複数カーネル学習手法を導出できるか？
• RQ5 提案手法RLS2は、既存手法と比較して、実世界の学習問題においてどの程度の性能向上を達成するか？

主な発見

• 二層カーネルマシンに対して表現定理が成立し、最適解が各層でカーネル関数の有限線形結合であることが証明された。
• 二層構造は数学的にデータ適応型カーネルを備えた単層カーネルマシンと等価であり、ネットワーク学習によるカーネル学習が可能になる。
• 複数カーネル学習手法は、第二層が線形である二層モデルの特殊な例であることが示された。
• RLS2は、多クラス分類のゲノムデータなど、複数の学習問題で最先端の一般化性能を達成した。
• RLS2の二段階最適化は計算的に効率的であり、線形方程式の解法と制約付き最小二乗問題の反復解法を交互に実行する。
• 訓練および検証用にGUIを備えたオープンソースのMATLABツールボックスを提供し、再現性と使いやすさを向上させた。