[論文レビュー] New Generalization Bounds for Learning Kernels

Corinna Cortes, Mehryar Mohri+1 more|ArXiv.org|Dec 17, 2009

Sparse and Compressive Sensing Techniques参考文献 15被引用数 9

ひとこと要約

本稿では、ラデマッハ複雑度解析を用いて、凸結合におけるベースカーネル数 $ p $ に対する対数的依存性と、$ L_2 $-正則化線形結合における $ p^{1/4} $ 依存性を達成する、学習カーネルの新しい一般化境界を提示する。これらの境界は、$ p \gg m $ の場合でもタイトで情報的なものであり、過学習の懸念なく多数のカーネル族を用いることが可能になる。

ABSTRACT

This paper presents several novel generalization bounds for the problem of learning kernels based on the analysis of the Rademacher complexity of the corresponding hypothesis sets. Our bound for learning kernels with a convex combination of p base kernels has only a log(p) dependency on the number of kernels, p, which is considerably more favorable than the previous best bound given for the same problem. We also give a novel bound for learning with a linear combination of p base kernels with an L_2 regularization whose dependency on p is only in p^{1/4}.

研究の動機と目的

• ベースカーネル数が多数の状況において、タイトな一般化境界が不足している問題に対処すること。
• 従来の境界（例：$ \sqrt{p} $ や $ p $）が $ p $ に対して悪くスケーリングするため、多くのカーネルを使用することを妨げる問題を改善すること。
• 凸結合および $ L_2 $-正則化線形結合の両方に対して、よりタイトで情報的な境界を提供すること。
• 特に高次元または複雑な学習タスクにおいて、多数のカーネルを実用的に使用する理論的根拠を確立すること。
• サンプルサイズ $ m $ よりもカーネル数 $ p $ が多い場合でも、依然として情報的な境界を導出すること。

提案手法

• 非負の重みが1に合計される $ p $ 個のベースカーネルの凸結合によって形成される仮説集合のラデマッハ複雑度を分析する。
• 一般化境界を導出し、$ p $ に対する依存性が $ \widetilde{O}\left(\sqrt{\frac{\log p \cdot R^2 / \rho^2}{m}}\right) $ となる。これは従来の $ \sqrt{p} $ に基づく境界よりも対数的で著しくタイトである。
• 同じラデマッハ複雑度フレームワークを $ L_2 $-正則化線形結合に適用し、$ p $ に対する $ p^{1/4} $ 依存性を持つ境界を導出する。
• $ \ell_r $-ノルムと凸性の議論を用いて複雑度項をバインドし、特に $ r = 4 $ を用いることで $ p^{1/4} $ スケーリングを達成する。
• 従来の安定性に基づくアプローチとは異なり、ベースカーネルの直交性を仮定しない境界を確立する。
• 集中不等式を用いてマージンに基づく一般化境界を導出し、$ \delta $-確率における信頼度項を組み込む。

実験結果

リサーチクエスチョン

• RQ1 ベースカーネル数 $ p $ に対して、特に $ p \gg m $ の場合に、スケーリングが良好な一般化境界を導出できるか。
• RQ2 ベースカーネルの凸結合のラデマッハ複雑度は $ p $ にどのように依存するか。対数的依存性でバインドできるか。
• RQ3 $ L_2 $-正則化線形結合の $ p $ に対する最適な依存性は何か。$ \sqrt{p} $ よりも改善可能か。
• RQ4 直交性の制限的仮定を必要とせず、新しい境界を導出できるか。
• RQ5 疑似次元や安定性に基づく既存の境界と比較して、新しい境界はタイトさと実用性の点で優れているか。

主な発見

• 凸結合に対する提案された境界は、$ p $ に対して $ \log p $ にのみ依存する。これは、従来の $ \sqrt{p} $ や $ p $ スケーリングに比べて顕著な改善である。
• $ L_2 $-正則化線形結合では、境界が $ p^{1/4} $ に比例する。これは、従来の安定性に基づく境界における $ \sqrt{p} $ 依存性よりも著しく穏やかである。
• 境界は $ p \gg m $ の場合でも情報的であり、従来の境界が空虚または情報がなくなる領域においても有効である。
• $ \log p $-依存境界は、SrebroとBen-Davidの疑似次元に基づく境界とは異なり、コアの $ \log p $ 以外に追加の対数項を含まない。
• $ p^{1/4} $ の境界は、ベースカーネルの直交性を仮定しないため、従来の $ L_2 $-ベースの境界よりもより広く適用可能である。
• 導出されたマージンに基づく一般化境界には信頼度項が含まれており、高確率 $ 1 - \delta $ で有効であるため、学習アルゴリズムにおける実用的適用性が保証される。