[論文レビュー] A Binary Classification Framework for Two-Stage Multiple Kernel Learning

Abhishek Kumar, Alexandru Niculescu-Mizil+2 more|arXiv (Cornell University)|Jun 27, 2012

Face and Expression Recognition参考文献 25被引用数 30

ひとこと要約

本稿では、2段階のマルチカーネル学習（MKL）のための新しい二値分類フレームワークを提案する。MKLを正定値制約を伴う制約付き二値分類問題に再定式化することで、既存の分類アルゴリズムを活用する。標準的な分類設定にカーネル学習を埋め込み、正定値制約を明示的に課すことにより、9つの多様なデータセットで最先端の性能を達成し、従来のMKL手法に比べてスケーラビリティと実用性が向上していることを示している。

ABSTRACT

With the advent of kernel methods, automating the task of specifying a suitable kernel has become increasingly important. In this context, the Multiple Kernel Learning (MKL) problem of finding a combination of pre-specified base kernels that is suitable for the task at hand has received significant attention from researchers. In this paper we show that Multiple Kernel Learning can be framed as a standard binary classification problem with additional constraints that ensure the positive definiteness of the learned kernel. Framing MKL in this way has the distinct advantage that it makes it easy to leverage the extensive research in binary classification to develop better performing and more scalable MKL algorithms that are conceptually simpler, and, arguably, more accessible to practitioners. Experiments on nine data sets from different domains show that, despite its simplicity, the proposed technique compares favorably with current leading MKL approaches.

研究の動機と目的

• マルチカーネル学習（MKL）を単純化し、スケーラビリティを向上させるために、それを標準的な二値分類問題に再定式化すること。
• MKLの文脈で、広く確立された二値分類アルゴリズムおよびツールの使用を可能にすること。
• 分類フレームワーク内での明示的制約により、学習されたカーネルが正定値のままであることを保証すること。
• 機械学習の実務家によるMKLの利用可能性と実用的採用を向上させること。

提案手法

• 著者らは、組み合わせカーネルの正定値性を保つために追加の制約を課した二値分類タスクとしてMKL問題を再定式化する。
• 2段階の最適化プロセスを導入する：最初に標準的な分類アルゴリズムを用いてカーネル重みを学習し、その後でカーネル行列の定値性を強制する。
• このフレームワークにより、SVMやロジスティック回帰などの任意の市販の二値分類器を第1段階で使用可能にする。
• 正定値性は、非負の重みを用いた基本カーネルの凸結合にカーネル組み合わせを制約することで維持される。
• 最適化中に制約違反が生じた場合に備えて、スラック変数のアプローチを用いる。
• 最終的なカーネル行列は、分類フレームワークを介して学習された重みによる基本カーネルの重み付き和として構築される。

実験結果

リサーチクエスチョン

• RQ1 マルチカーネル学習は、追加の制約を課した標準的な二値分類問題に効果的に再定式化可能か？
• RQ2 この再定式化は、既存の手法と比較してMKLのスケーラビリティとパフォーマンスをどのように向上させるか？
• RQ3 カーネル行列の性質を損なわせることなく、既存の二値分類アルゴリズムをMKLフレームワーク内でどれほど活用できるか？
• RQ4 提案されたフレームワークは、多様なデータセットにおいて一般化性能を維持または向上させるか？

主な発見

• 提案されたフレームワークは、多様な分野からの9つのベンチマークデータセットにおいて、最先端のMKL手法と比較して競争的または優れた性能を達成した。
• 第1段階で効率的な二値分類ソルバーを用いることで、スケーラビリティが向上した。
• 制約の強制メカニズムにより、学習されたカーネル行列の正定値性が成功裏に維持された。
• 標準分類ツールとの統合のおかげで、概念的に単純で実務家にとってよりアクセスしやすくなった。
• 実験的結果から、テキスト、画像、生物学的データを含む複数のデータタイプで一貫した性能向上が観察された。
• 2段階設計により、最適化の速度とカーネル学習の精度の間の効果的なトレードオフが可能になった。