[論文レビュー] Multiple Operator-valued Kernel Learning

Hachem Kadri, Alain Rakotomamonjy+2 more|arXiv (Cornell University)|Mar 7, 2012

EEG and Brain-Computer Interfaces参考文献 31被引用数 7

ひとこと要約

本稿では、関数回帰のための複数の作用素値カーネル学習フレームワークを提案し、組み合わせ係数に ℓ_r-ノルム制約を課したカーネルリッジ回帰を用いる。ブロック座標降下法を導入して線形作用素方程式系を解き、非線形関数データ解析のための入力および出力カーネルの共同学習を可能にし、脳-コンピュータインターフェースにおける指の動き予測において強い収束保証を得た。

ABSTRACT

Positive definite operator-valued kernels generalize the well-known notion of reproducing kernels, and are naturally adapted to multi-output learning situations. This paper addresses the problem of learning a finite linear combination of infinite-dimensional operator-valued kernels which are suitable for extending functional data analysis methods to nonlinear contexts. We study this problem in the case of kernel ridge regression for functional responses with an lr-norm constraint on the combination coefficients. The resulting optimization problem is more involved than those of multiple scalar-valued kernel learning since operator-valued kernels pose more technical and theoretical issues. We propose a multiple operator-valued kernel learning algorithm based on solving a system of linear operator equations by using a block coordinatedescent procedure. We experimentally validate our approach on a functional regression task in the context of finger movement prediction in brain-computer interfaces.

研究の動機と目的

• 非線形関数データ解析における最適な作用素値カーネルを学習する課題に取り組むこと、特に多出力および関数応答タスクに対して。
• 無限次元空間における技術的困難を克服し、スカラー値カーネルから作用素値カーネルへの複数カーネル学習（MKL）の拡張を行うこと。
• 関数回帰のための事前に定義された作用素値カーネルの有限線形結合を学習する実用的なアルゴリズムを開発すること。
• 脳-コンピュータインターフェースにおけるデータ駆動型遅延推定にカーネル結合を適応させることで、入力および出力カーネルの共同学習を可能にすること。
• 作用素の再生核ヒルベルト空間（RKHS）の文脈において、提案された最適化手順の理論的収束保証を提供すること。

提案手法

• 関数値をとる再生核ヒルベルト空間（RKHS）における作用素値カーネルを用いたカーネルリッジ回帰問題として関数回帰を定式化する。
• 組み合わせ係数に ℓ_r-ノルム制約を導入することで、スパarsityと安定性を促進する最適化問題を提示する。
• 非凸最適化をブロック座標降下法により解き、関数推定とカーネル重みの更新を交互に繰り返す。
• 表現定理を用いて解をカーネル作用素の線形結合として表現し、有限次元近似を可能にする。
• 各反復で解く必要がある線形作用素方程式系を導出する。これは、RKHSの構造とカーネル作用素のコンパクト性を活用している。
• 弱収束および強収束の議論を用いて、反復列の任意の収束部分列が目的関数のグローバル最小値に収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 無限次元出力空間を有する関数回帰の文脈において、複数の作用素値カーネル学習を効果的に定式化・解くことができるか？
• RQ2 作用素値RKHS設定において、ℓ_r-ノルム制約下でカーネル結合係数を最適化しつつ、理論的収束性を維持できるか？
• RQ3 提案されたアルゴリズムは、脳-コンピュータインターフェースタスクにおける未知の信号遅延に適応するため、入力および出力カーネル構造を共同で学習できるか？
• RQ4 無限次元作用素と非凸目的関数を伴う状況下で、反復的最適化手順の収束挙動はいかなるものか？
• RQ5 実世界の関数データにおいて、固定カーネルアプローチと比較して、提案手法は予測性能で優れているか？

主な発見

• 提案されたブロック座標降下法は、部分列の弱収束および強収束に基づく理論的保証のもとで、目的関数のグローバル最小値に収束する。
• 本手法は、電皮質的信号における未知の遅延に適応する最適なカーネル結合を学習し、BCI応用における指の動き予測を向上させた。
• 最適化フレームワークは、各反復で線形作用素方程式系を解くことにより、無限次元作用素値カーネルの複雑さを扱う。
• ℓ_r-ノルム正則化を通じて、安定的かつスパースなカーネル結合が達成され、一般化性能と解釈可能性が向上した。
• 実験的検証により、固定カーネルを用いたベースライン手法と比較して、関数回帰タスクにおける性能が向上したことが示された。
• 理論的分析により、反復列が最小値に強く収束することが確認され、解の堅牢性と信頼性が保証された。