[論文レビュー] The Local Rademacher Complexity of Lp-Norm Multiple Kernel Learning

Marius Kloft, Gilles Blanchard|arXiv (Cornell University)|Mar 3, 2011

Machine Learning and Algorithms参考文献 26被引用数 32

ひとこと要約

本稿では、相関のないカーネル特徴写像を仮定する下で、すべての p ∈ [1, ∞] に対して ℓₚ-ノルムマルチカーネル学習（MKL）の局所ラデマッハ複雑度に対するタイトな上界を導出する。解析により、個々のカーネルの最小固有値減衰率 α に依存する O(n⁻ᵅ/(1+α)) 階のより速い超過リスク収束速度が得られ、一致する下界を用いて上界のタイトさが確立される。

ABSTRACT

We derive an upper bound on the local Rademacher complexity of $\ell_p$-norm multiple kernel learning, which yields a tighter excess risk bound than global approaches. Previous local approaches aimed at analyzed the case $p=1$ only while our analysis covers all cases $1\leq p\leq\infty$, assuming the different feature mappings corresponding to the different kernels to be uncorrelated. We also show a lower bound that shows that the bound is tight, and derive consequences regarding excess loss, namely fast convergence rates of the order $O(n^{-\fracα{1+α}})$, where $α$ is the minimum eigenvalue decay rate of the individual kernels.

研究の動機と目的

• グローバル複雑度アプローチよりもタイトな一般化上界を ℓₚ-ノルムマルチカーネル学習に対して導出すること。
• 従来の ℓ₁ の場合に限られていた局所ラデマッハ複雑度解析を、相関のないカーネル写像の下ですべての p ∈ [1, ∞] に拡張すること。
• 一致する下界を用いて導出した上界のタイトさを確立すること。
• 個々のカーネルの固有値減衰率 α に応じた超過損失収束速度を特定すること。
• 実際の応用で中間の ℓₚ ノルム（1 < p < ∞）が ℓ₁ や ℓ∞ を上回る理由を理論的根拠で説明すること。

提案手法

• 局所ラデマッハ複雑度技術を用いて、ℓₚ-ノルム MKL 関数の期待リスクのずれを上界で制御する。
• 積ヒルバート空間におけるブロック-ℓ₂,ₚ正則化学習との等価性を活用する。
• 異なるカーネルに対応する特徴写像が相関のないものと仮定する。
• 有界確率変数の q 階モーメントを制御するために、モーメント不等式とヤングの不等式を用いる主な技術的要素。
• ポアソンモーメントバウンドとスターリングの近似を用いて、i.i.d. 確率変数の和の期待値をバウンドするプロセス。
• 上界が定数要因を除いて最適であることを示すために、一致する下界を構築する。

実験結果

リサーチクエスチョン

• RQ1 局所ラデマッハ複雑度解析は、グローバルアプローチよりもタイトな一般化上界を ℓₚ-ノルムマルチカーネル学習に対して得られるか？
• RQ2 導出した上界は、従来の研究で扱われた p = 1 に限らず、すべての p ∈ [1, ∞] に対して成り立つか？
• RQ3 導出した上界はタイトであり、一致する下界を確立できるか？
• RQ4 個々のカーネルの固有値減衰率 α に応じて、結果として得られる超過リスク収束速度は何か？
• RQ5 なぜ実際の応用では中間の ℓₚ ノルム（1 < p < ∞）が ℓ₁ や ℓ∞ を上回ることが多いのか？

主な発見

• 本稿では、すべての p ∈ [1, ∞] に対して、グローバルな上界よりもタイトな ℓₚ-ノルム MKL の局所ラデマッハ複雑度上界を導出する。
• 上界により、個々のカーネルの最小固有値減衰率 α に依存する O(n⁻ᵅ/(1+α)) 階の超過リスク収束速度が得られる。
• 一致する下界を用いて上界のタイトさが示され、定数要因を除いて最適性が確認される。
• 解析はすべての ℓₚ ノルム（1 ≤ p ≤ ∞）をカバーし、従来の p = 1 に限られた研究を拡張する。
• 結果として、マルチカーネル学習における中間 ℓₚ ノルムの実験的優位性に理論的根拠が与えられる。
• 技術的証明は、ポアソン分布に従う確率変数のモーメントバウンドとスターリングの近似を用いて、高階モーメントを制御する。