[論文レビュー] Positive Definite Kernels in Machine Learning

Marco Cuturi|ArXiv.org|Nov 28, 2009

Neural Networks and Applications参考文献 101被引用数 11

ひとこと要約

本調査は、機械学習におけるカーネル法における正定値カーネルの包括的紹介を提供する。カーネルは再生核ヒルベルト空間（RKHS）を介して非線形的でデータ駆動的かつ非パrametricな関数推定を可能にし、画像、グラフ、シーケンスといった多様なデータタイプに対して、カスタマイズされたカーネル設計と最適化技術を用いて応用が可能である。

ABSTRACT

This survey is an introduction to positive definite kernels and the set of methods they have inspired in the machine learning literature, namely kernel methods. We first discuss some properties of positive definite kernels as well as reproducing kernel Hibert spaces, the natural extension of the set of functions $\{k(x,\cdot),x\in\mathcal{X}\}$ associated with a kernel $k$ defined on a space $\mathcal{X}$. We discuss at length the construction of kernel functions that take advantage of well-known statistical models. We provide an overview of numerous data-analysis methods which take advantage of reproducing kernel Hilbert spaces and discuss the idea of combining several kernels to improve the performance on certain tasks. We also provide a short cookbook of different kernels which are particularly useful for certain data-types such as images, graphs or speech segments.

研究の動機と目的

• 正定値カーネルとそのカーネル法における基盤的役割を統合的理論的・実用的概要として提供すること。
• 画像、グラフ、可変長シーケンスのような構造的・複雑なデータタイプのための効果的なカーネル設計の課題に対処すること。
• モデル性能を向上させるために、カーネル選択、パrameterチューニング、複数カーネル学習の技術を提示すること。
• 特定のデータモダリティに適したカーネルの実用的レシピ（クックブック）を提供し、研究者が自らのタスクに適したカーネルを選択または構築できるようにすること。

提案手法

• 再生核ヒルベルト空間（RKHS）理論を用いて、カーネルに基づく関数推定を、$ f(x) = \sum_{i \in I} \alpha_i k(x_i, x) $ として定式化する。
• 代表定理を適用して、RKHSにおける最適解が訓練点におけるカーネル関数の評価の有限線形結合として表現可能であることを示す。
• 統計モデルからのカーネル構築を導入し、半群カーネルや積分表現を用いて、ドメイン知識をカーネル設計に組み込む。
• カーネル行列 $ K $ を含む二次的目的関数を用いた凸最適化により、係数 $ \alpha_i $ を学習する。ここで $ K_{ij} = k(x_i, x_j) $ である。
• 基本カーネルの線形混合を用いた複数カーネル学習を提案し、一般化性能を向上させるために異なるカーネルタイプを適応的に組み合わせる。
• 複雑なデータ向けに特化したカーネルを開発する：画像に対するセグメンテーションを介したグラフカーネル、テキストに対するn-gramヒストグラム、可変長シーケンスに対する編集距離ベースのカーネル。

実験結果

リサーチクエスチョン

• RQ1 統計モデルから正定値カーネルを体系的に構築することで、機械学習における事前知識を符号化する方法は何か？
• RQ2 正定値カーネル、再生核ヒルベルト空間、距離尺度の間の理論的基盤は何か？
• RQ3 カーネル法は、グラフ、画像、可変長シーケンスのような構造的データを扱うためにどのように拡張可能か？
• RQ4 実世界の学習タスクにおける性能向上のための、カーネルの選択または組み合わせの有効な戦略は何か？
• RQ5 非正定値類似度測度（例：編集距離）を、カーネルマシンで使用可能な正定値カーネルに変換する方法は何か？

主な発見

• カーネル法は、カーネル関数を用いてデータを高次元のRKHSにマップすることで、線形モデルを一般化する柔軟で非パrametricな関数推定フレームワークを提供する。
• 代表定理により、RKHSにおける最適解が訓練点におけるカーネル評価の有限線形結合として表現可能であることが保証され、実用的な計算が可能になる。
• 統計モデルから導出されたカーネル（例：HMMからのフィッシャー・カーネル、半群からの積分表現）は、ドメイン固有の知識を効果的に符号化する。
• 基本カーネルの凸結合による複数カーネル学習は、スピーク認識やタンパク質分類のタスクで、カーネル寄与の適応的重み付けにより性能を向上させる。
• すべての変換経路にわたって重み付けされた編集距離ベースのカーネルは、正定値カーネルを生成し、タンパク質および音声データタスクで非正定値バージョンを上回る性能を示す。
• グラフカーネル（セグメンテーション画像上）、n-gramヒストグラム（テキスト上）といった特化したカーネル設計により、非ベクトル型の複雑なデータタイプに対する効果的な学習が可能になる。