[論文レビュー] A Unifying View of Multiple Kernel Learning

Marius Kloft, Ulrich Rückert+1 more|arXiv (Cornell University)|May 4, 2010

Sparse and Compressive Sensing Techniques参考文献 14被引用数 21

ひとこと要約

本稿では、$β$-norm MKL、エラスティックネット、ブロックノルムMKLといった既存の手法を統一する最適化フレームワークを提示する。このフレームワークは、二重ブロックノルム正則化子を用いた単一の基準に統合されており、効率的な滑らかな最適化を可能にするモジュラリティを持つ双対表現を導出する。実験的に、$∞$-norm MKLがバイオインフォマティクスおよびインシデント検出タスクで他のバリアントを上回ることを示しており、最良の一般化境界が先行研究の最良水準に一致する。

ABSTRACT

Recent research on multiple kernel learning has lead to a number of approaches for combining kernels in regularized risk minimization. The proposed approaches include different formulations of objectives and varying regularization strategies. In this paper we present a unifying general optimization criterion for multiple kernel learning and show how existing formulations are subsumed as special cases. We also derive the criterion's dual representation, which is suitable for general smooth optimization algorithms. Finally, we evaluate multiple kernel learning in this framework analytically using a Rademacher complexity bound on the generalization error and empirically in a set of experiments.

研究の動機と目的

• 多様な複数カーネル学習（MKL）の定式化を、一つの一般化された最適化基準に統一すること。
• 滑らかな最適化が可能となる、柔軟で効率的な最適化を可能にする、MKL基準のモジュラリティの高い双対表現を導出すること。
• エラスティックネットおよびブロックノルムMKLに適用可能な、新たなラデマッハ複雑度の集中境界を用いて一般化性能を分析すること。
• バイオインフォマティクスおよびインシデント検出データセットを用いて、MKLのさまざまなバリアントを実験的に評価・比較すること。
• 非スパースな$∞$-norm MKLが、実際のデータにおいてスパースおよび他のブロックノルムバリアントを上回る性能を示すかどうかを特定すること。

提案手法

• 二重ブロックノルム正則化子を用いた正則化リスク最小化問題としてMKLを定式化し、$β$-norm、エラスティックネット、ブロックノルムのアプローチを一般化する。
• 損失関数と正則化項の寄与を分離するモジュラリティの高い双対表現を導出することで、異なる凸損失関数の即座な統合が可能になる。
• 滑らかな最適化技術を用いて双対問題を効率的に解き、双対目的関数の分離性を活用する。
• 実世界のデータセットに適用：酵母のプロモーター予測およびネットワークインシデント検出（HTTPトラフィック）。
• 複数のMKLバリアントを実装・比較：$β$-norm MKL、$μ$を変化させたエラスティックネット、$p \in \{1, 4/3, 2, 4, \infty\}$のブロックノルムMKL。
• ラデマッハ複雑度を用いて、$β=1$および$β=4/3$の最良既知の境界と一致する一般化境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 すべての主要なMKL定式化—$β$-norm、エラスティックネット、ブロックノルム—が、一つの最適化基準に統合可能か？
• RQ2 提案された二重ブロックノルム正則化子は、モジュラリティの高い柔軟な双対最適化フレームワークを可能にするか？
• RQ3 統一されたMKLフレームワークの一般化性能はどの程度で、先行研究の境界と比較してどうか？
• RQ4 $∞$-norm MKLの定式化は、実世界のデータにおける予測精度の観点で、他のMKLバリアントを上回るか？
• RQ5 正則化の選択（例：$β$-norm、エラスティックネット）が、実際のモデルのスパarsityと性能に与える影響は何か？

主な発見

• プロモーター予測データセットでは、$∞$-norm MKLが87.67±0.09の予測精度を達成し、$β=1$および$β=4/3$のブロックノルムMKLを上回った。
• インシデント検出データセットでは、$∞$-norm MKLがAUC [0,0.1] 99.68±0.09を達成し、全テストモデルの中で最高となった。
• エラスティックネット（$μ=0.1$）はAUC [0,0.1] 99.46±0.13を達成し、$β=1$-norm MKLをわずかに上回り、$β=4/3$-norm MKLと同等の性能を示した。
• ラデマッハ複雑度を用いて導出した一般化境界は、$β=1$および$β=4/3$の最良既知の境界と一致し、フレームワークの理論的堅牢性を裏付けた。
• 実験的に、$∞$-norm MKLは非スパースであるにもかかわらず、両方のデータセットで他のブロックノルムバリアントを一貫して上回った。
• 本フレームワークは、多様なMKLアプローチを単一の基準に統一し、正則化戦略の体系的比較を可能にした。