[論文レビュー] L2 Regularization for Learning Kernels

Corinna Cortes, Mehryar Mohri+1 more|arXiv (Cornell University)|May 9, 2012

Sparse and Compressive Sensing Techniques参考文献 20被引用数 363

ひとこと要約

本稿では、リッジ回帰におけるカーネル関数の学習にL2正則化を提案し、基本カーネルの非負線形結合を最適化する効率的な反復アルゴリズムを定式化している。理論的に、L2正則化は性能を維持または向上させることを示しており、特にカーネル集合が大きい場合に、スケーラビリティと安定性の面でL1正則化を上回っている。理論的安定性バインディングでは、標準のカーネルリッジ回帰と比較して、僅かな加法的項O(√p/m)しか含まれないことが示されている。

ABSTRACT

The choice of the kernel is critical to the success of many learning algorithms but it is typically left to the user. Instead, the training data can be used to learn the kernel by selecting it out of a given family, such as that of non-negative linear combinations of p base kernels, constrained by a trace or L1 regularization. This paper studies the problem of learning kernels with the same family of kernels but with an L2 regularization instead, and for regression problems. We analyze the problem of learning kernels with ridge regression. We derive the form of the solution of the optimization problem and give an efficient iterative algorithm for computing that solution. We present a novel theoretical analysis of the problem based on stability and give learning bounds for orthogonal kernels that contain only an additive term O(pp/m) when compared to the standard kernel ridge regression stability bound. We also report the results of experiments indicating that L1 regularization can lead to modest improvements for a small number of kernels, but to performance degradations in larger-scale cases. In contrast, L2 regularization never degrades performance and in fact achieves significant improvements with a large number of kernels.

研究の動機と目的

• 機械学習におけるカーネル選択の課題に対処すること。カーネルの選択は性能に大きく影響するが、通常はユーザーが指定する。
• L1正則化やトレース制約の代わりに、L2正則化を用いて、基本カーネルの非負線形結合からカーネルを学習することを検討すること。
• 回帰タスクにおけるL2正則化カーネル学習のための効率的な最適化アルゴリズムを開発すること。
• L2正則化カーネル学習の安定性および一般化バインディングに関する、新しい理論的分析を提供すること。

提案手法

• L2正則化をカーネル係数に適用したリッジ回帰最適化として、カーネル学習問題を定式化する。
• L2正則化下での最適カーネル係数の閉形式解を導出する。
• カーネル行列の構造と固有値分解を活用して、効率的に解を計算する反復アルゴリズムを提案する。
• 直交カーネルに対する一般化バインディングを導出する新しい理論的フレームワークを用いて安定性を分析する。
• L2正則化カーネル学習の安定性バインディングを、標準のカーネルリッジ回帰と比較し、O(√p/m)のわずかな加法的項に留まることを示す。
• ベンチマークデータセットを用いた実験的評価を通じて、さまざまな数の基本カーネルにおけるL2正則化とL1正則化の比較を行う。

実験結果

リサーチクエスチョン

• RQ1 L2正則化カーネル学習は、一般化性能および安定性の観点でL1正則化と比べてどのように異なるか？
• RQ2 L2正則化は、複数の基本カーネルを用いたカーネル学習において、安定性および一般化に関する理論的保証を提供できるか？
• RQ3 基本カーネルの数が、L2正則化カーネル学習の性能に与える影響は何か？
• RQ4 L1正則化とは異なり、L2正則化は、基本カーネルの数が増加しても性能の劣化を防げるか？
• RQ5 L2正則化カーネル学習の理論的安定性バインディングは、標準のカーネルリッジ回帰と比べてどのように異なるか？

主な発見

• L2正則化は性能を劣化させず、多くの基本カーネルが使用される場合に顕著な改善を達成する。
• L1正則化は、カーネル数が少ない場合にはわずかな改善しかもたらさないが、大規模な設定では性能の劣化を引き起こす。
• L2正則化カーネル学習の理論的安定性バインディングには、標準のカーネルリッジ回帰と比較して、僅かな加法的項O(√p/m)しか含まれない。
• 提案された反復アルゴリズムは、L2正則化下での最適カーネル係数を効率的に計算できる。
• 実験により、L2正則化が、基本カーネル数が増加するにつれて一貫してL1正則化を上回ることが確認された。
• 本手法は、基本カーネル数が増大しても強力な一般化性能を維持し、優れたスケーラビリティを示した。