[論文レビュー] Ensembles of Kernel Predictors

Corinna Cortes, Mehryar Mohri+1 more|arXiv (Cornell University)|Feb 14, 2012

Control Systems and Identification参考文献 20被引用数 5

ひとこと要約

本稿では、一般化性能の向上を目的として、凸およびLq正則化を施した非負の組み合わせを用いた基本カーネルのアンサンブルを提案する。理論的保証としてレーディンガー複雑度を用い、多数のデータセットにおいてアンサンブル手法が学習カーネル手法を上回ることを実験的に示している。

ABSTRACT

This paper examines the problem of learning with a finite and possibly large set of p base kernels. It presents a theoretical and empirical analysis of an approach addressing this problem based on ensembles of kernel predictors. This includes novel theoretical guarantees based on the Rademacher complexity of the corresponding hypothesis sets, the introduction and analysis of a learning algorithm based on these hypothesis sets, and a series of experiments using ensembles of kernel predictors with several data sets. Both convex combinations of kernel-based hypotheses and more general Lq-regularized nonnegative combinations are analyzed. These theoretical, algorithmic, and empirical results are compared with those achieved by using learning kernel techniques, which can be viewed as another approach for solving the same problem.

研究の動機と目的

• カーネル法における有限個の基本カーネルから最適なカーネル組み合わせを選択する課題に取り組む。
• 単一カーネルや学習カーネル手法の限界を克服するため、アンサンブル学習を活用して一般化性能を向上させる。
• 仮説集合のレーディンガー複雑度を用いて、アンサンブル化カーネル予測器の理論的裏付けを提供する。
• 凸およびLq正則化を施した非負の組み合わせに基づく学習アルゴリズムを構築し、評価する。
• ベンチマークデータセット上で、提案されたアンサンブル手法と学習カーネル技術を実験的に比較する。

提案手法

• 効率的な最適化と一般化を可能にするために、仮説集合を基本カーネル予測器の凸結合として定式化する。
• カーネル選択におけるスパarsityとロバストネスを向上させるために、q ≥ 1 のLq正則化を施した非負の組み合わせを導入する。
• アンサンブル仮説集合のレーディンガー複雑度の境界を導出し、理論的な一般化保証を提供する。
• Lq正則化制約下で基本カーネルの組み合わせ重みを最適化する学習アルゴリズムを設計する。
• 交差検証と標準的なカーネル学習ベースラインを用いて、複数のベンチマークデータセット上でアルゴリズムを実装・評価する。
• モデルの複雑さと訓練誤差のバランスを取るために、正則化を施した経験的リスク最小化をアンサンブルフレームワークに適用する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル化カーネル予測器は、個々のカーネルモデルや学習カーネル手法よりも優れた一般化性能を達成できるか？
• RQ2 凸およびLq正則化を施した基本カーネルの組み合わせは、一般化性能とモデル安定性にどのように影響するか？
• RQ3 仮説集合のレーディンガー複雑度を用いて、アンサンブル化カーネル予測器の一般化誤差にどのような理論的保証を導けるか？
• RQ4 正則化の選択（例：L1とL2）が、カーネル組み合わせの性能とスパarsityに与える影響は何か？
• RQ5 実世界のデータセットにおいて、アンサンブル化カーネル予測器は最先端の学習カーネル手法と比べてどのように評価されるか？

主な発見

• 理論的分析により、アンサンブル仮説集合のレーディンガー複雑度が有界であることが示され、一般化保証が得られた。
• 実験的結果により、アンサンブル化カーネル予測器が多数のベンチマークデータセットで学習カーネル手法を一貫して上回ることが示された。
• 特にq=1（L1）のLq正則化を施した組み合わせは、凸結合よりもスパースで、しばしばより高い精度のカーネルアンサンブルをもたらした。
• 評価されたすべてのデータセットにおいて、提案されたアンサンブル手法は個々のカーネルモデルや学習カーネルベースラインよりも低いテスト誤差を達成した。
• 大量の基本カーネルに対しても、計算効率を維持しながら予測性能を向上させることができ、スケーラビリティに優れた。
• アンサンブルモデルのレーディンガー複雑度境界は、単一カーネル予測器よりもきつくなることが示され、一般化性能の向上を支持する。