[論文レビュー] A Note on Improved Loss Bounds for Multiple Kernel Learning

Zakria Hussain, John Shawe‐Taylor+1 more|arXiv (Cornell University)|Jun 30, 2011

Machine Learning and Algorithms参考文献 7被引用数 8

ひとこと要約

この論文は、先行研究[4]における複数カーネル学習（MKL）の誤ったラデマッハ複雑度バウンドを是正し、元の主張であるカーネル数に関する加法的対数依存性が誤りであることを示している。是正されたバウンドは、マージン γ と log p の乗法的依存性を示し、一般化保証を弱めるが、MKLの複雑度に対するより正確な理論的分析を提供する。

ABSTRACT

In this paper, we correct an upper bound, presented in~\cite{hs-11}, on the generalisation error of classifiers learned through multiple kernel learning. The bound in~\cite{hs-11} uses Rademacher complexity and has an\emph{additive} dependence on the logarithm of the number of kernels and the margin achieved by the classifier. However, there are some errors in parts of the proof which are corrected in this paper. Unfortunately, the final result turns out to be a risk bound which has a \emph{multiplicative} dependence on the logarithm of the number of kernels and the margin achieved by the classifier.

研究の動機と目的

• 文献[4]で提示された複数カーネル学習におけるラデマッハ複雑度に基づく一般化バウンドの誤りを特定・是正すること。
• ラデマッハ複雑度を用いた複数カーネル学習における推定誤差の見直し理論的分析を提供すること。
• 一般化誤差バウンドがカーネル数およびマージンパラメータ γ にどのように依存するかを明確にすること。
• MKL分類器の実際の複雑度を反映するより正確なリスクバウンドを確立すること。

提案手法

• 複数カーネル学習における基本カーネルの凸結合によって生成される関数族にラデマッハ複雑度理論を適用する。
• クリッピングされたヘッジ損失関数 A^γ(s) を用いて、一般化誤差のより緊密なバウンドを導出する。
• [4]における誤った仮定 ∑j R_m(F_j) ≤ R_m(∪j F_j) を是正し、これにより誤って加法的 log p 依存性が導かれたことを示す。
• 三角不等式および sup-ノルム分解を用いて新たなバウンドを導出し、log p に 1/γ の乗法的係数が現れることを示す。
• 集中不等式およびクリッピングされたヘッジ損失のリプシッツ性を用いて推定誤差を制御する。
• 最大カーネル対角ノルムおよびカーネル数 p に依存するバウンドを確立し、γ および log p に明示的な依存性を含める。

実験結果

リサーチクエスチョン

• RQ1 複数カーネル学習におけるラデマッハ複雑度バウンドがカーネル数にどのように依存するかは何か？
• RQ2 文献[4]における加法的 log p 依存性の主張が、厳密な分析においてなぜ失敗するのか？
• RQ3 マージン γ と一般化誤差バウンド内の対数項の間にどのような相互作用があるか？
• RQ4 是正されたラデマッハ複雑度の議論を用いて、MKLのより緊密で正確な一般化バウンドを導出できるか？

主な発見

• 文献[4]におけるラデマッハ複雑度バウンドにおける log p への加法的依存性の主張は、誤った不等式の適用により誤りである。
• 是正されたバウンドは、log p に対して 1/γ の乗法的依存性を示し、元の主張と比較して一般化保証が弱まる。
• 最終的なリスクバウンドは err(f) ≤ Ê[A^γ(yf(x))] + (1/γ)[(2/m)max_j √∑i κ_j(x_i,x_i) + √(8 log p / m)] + 3√(log(2/δ)/(2m)) で与えられる。
• カーネル正規化 (κ_j(x,x) ≤ R²) の下では、バウンドは err(f) ≤ Ê[A^γ(yf(x))] + (1/γ)[2R/√m + √(8 log p / m)] + 3√(log(2/δ)/(2m)) に簡略化される。
• 是正により、有効なカーネル数 d と log p がマージン項から分離できないことが明らかになり、元の主張の部分的独立性は無効である。
• 分析により、文献[4]の元のバウンドは、関数族の合併のラデマッハ複雑度を誤って扱ったために一般化性能を過大評価していたことが確認された。