[論文レビュー] Algorithms for Learning Kernels Based on Centered Alignment

Corinna Cortes, Mehryar Mohri+1 more|arXiv (Cornell University)|Mar 2, 2012

Machine Learning and ELM参考文献 38被引用数 393

ひとこと要約

本稿では、カーネル行列間の類似度測度としての中心化整合性に基づく、新たなカーネル学習アルゴリズムを提案する。この手法は、分類および回帰の両設定において、一様結合法や先行するカーネル学習手法を常に上回る性能を発揮する。本手法は、整合性を最大化するための効率的な二次計画法を用い、整合性に基づく正則化を組み込んだワンステージの学習フレームワークを含む。これにより、ベンチマークデータセット上で最先端の性能を達成する。

ABSTRACT

This paper presents new and effective algorithms for learning kernels. In particular, as shown by our empirical results, these algorithms consistently outperform the so-called uniform combination solution that has proven to be difficult to improve upon in the past, as well as other algorithms for learning kernels based on convex combinations of base kernels in both classification and regression. Our algorithms are based on the notion of centered alignment which is used as a similarity measure between kernels or kernel matrices. We present a number of novel algorithmic, theoretical, and empirical results for learning kernels based on our notion of centered alignment. In particular, we describe efficient algorithms for learning a maximum alignment kernel by showing that the problem can be reduced to a simple QP and discuss a one-stage algorithm for learning both a kernel and a hypothesis based on that kernel using an alignment-based regularization. Our theoretical results include a novel concentration bound for centered alignment between kernel matrices, the proof of the existence of effective predictors for kernels with high alignment, both for classification and for regression, and the proof of stability-based generalization bounds for a broad family of algorithms for learning kernels based on centered alignment. We also report the results of experiments with our centered alignment-based algorithms in both classification and regression.

研究の動機と目的

• カーネル手法におけるカーネル選択の継続的課題に取り組む。手動によるカーネル選択は性能と一般化能力を制限する。
• 凸結合に基づくカーネル学習アルゴリズムが、長年にわたり単純な一様結合ベースラインを一貫して上回れなかったという、長年の制限を克服する。
• 中心化整合性をカーネル行列間の類似度測度として用いる、理論的裏付けと実験的有効性に優れたカーネル学習フレームワークを構築する。
• 中心化整合性に基づくカーネル学習アルゴリズムに対して、一般化保証と安定性バインディングを提供し、理論的整合性を確保する。

提案手法

• 本稿では、中心化されたカーネル行列の内積を正規化した形で定義される、カーネル行列間の類似度測度としての中心化整合性を導入する。
• 最大整合性カーネルを学習する問題を、標準的な二次計画問題（QP）に還元可能な凸最適化問題として定式化する。
• 整合性に基づく正則化を用いて、カーネルと予測子を同時に学習するワンステージのアルゴリズムを提案。カーネル学習と予測子学習を1つの最適化ステップに統合する。
• 理論的分析として、中心化整合性のための新しい集中不等式を導出し、それが類似度測度としての信頼性を裏付ける。
• 分類および回帰設定の両方において、高い整合性を持つカーネルに対して有効な予測子が存在することを確立する。
• 安定性解析を用いて一般化バインディングを導出し、中心化整合性に基づくカーネル学習アルゴリズムに有利な理論的保証を示す。

実験結果

リサーチクエスチョン

• RQ1 中心化整合性は、カーネル学習において信頼性があり効果的な類似度測度として機能するか？ 他の手法を上回るか？
• RQ2 中心化整合性を最大化するようにカーネルを学習することは、分類および回帰において一様結合法よりも優れた一般化性能と性能をもたらすか？
• RQ3 整合性に基づく正則化を用いてカーネルと予測子を同時に学習するワンステージのアルゴリズムは、二段階的手法に比べて優れた結果を達成できるか？
• RQ4 中心化整合性に基づくカーネル学習アルゴリズムに対して、濃度不等式や一般化安定性といった理論的保証を確立できるか？
• RQ5 提案手法は、Lanckriet et al. (2004) や Cortes et al. (2009a) といった既存手法と比較して、多様なデータセット上でどのように評価されるか？

主な発見

• 提案された整合性ベースのアルゴリズムは、全テスト分類および回帰データセットにおいて一貫して一様結合ベースラインを上回る。
• alignf手法は、Spambaseを除く全データセットで一様ベースラインを著しく上回り、Spliceを除く全データセットでワンステージ手法を上回る。
• 回帰設定では、align手法はDVDを除く全データセットで一様結合法およびワンステージ結合法を著しく上回る。DVDではl2-krrに対する改善は顕著でない。
• 理論的結果として、中心化整合性のための濃度不等式が得られ、統計的安定性が裏付けられ、安定性に基づく一般化バインディングが導出され、手法の信頼性が支持される。
• 実験的結果は、提案手法が最先端の性能を達成することを確認しており、カーネル学習分野において、一貫して一様結合ベースラインを上回る初の例である。