[論文レビュー] Non-Sparse Regularization for Multiple Kernel Learning

Marius Kloft, Ulf Brefeld+2 more|arXiv (Cornell University)|Feb 27, 2010

Domain Adaptation and Few-Shot Learning参考文献 69被引用数 5

ひとこと要約

本稿では、任意の ℓp-ノルム（p > 1）を用いた非スパース正則化を導入することで、複数カーネル学習（MKL）のための新しい手法を提案する。効率的な入れ違い最適化戦略を導入し、従来のラッパー手法を凌駕する。バイオインフォマティクスデータセットにおける実験結果から、非スパースMKLは最先端の精度を達成し、スパース正則化が普遍的に優れているという仮定に挑戦する。

ABSTRACT

Learning linear combinations of multiple kernels is an appealing strategy when the right choice of features is unknown. Previous approaches to multiple kernel learning (MKL) promote sparse kernel combinations to support interpretability and scalability. Unfortunately, this 1-norm MKL is rarely observed to outperform trivial baselines in practical applications. To allow for robust kernel mixtures, we generalize MKL to arbitrary norms. We devise new insights on the connection between several existing MKL formulations and develop two efficient interleaved optimization strategies for arbitrary norms, like p-norms with p>1. Empirically, we demonstrate that the interleaved optimization strategies are much faster compared to the commonly used wrapper approaches. A theoretical analysis and an experiment on controlled artificial data experiment sheds light on the appropriateness of sparse, non-sparse and $\ell_\infty$-norm MKL in various scenarios. Empirical applications of p-norm MKL to three real-world problems from computational biology show that non-sparse MKL achieves accuracies that go beyond the state-of-the-art.

研究の動機と目的

• スパースMKLの限界に取り組む。理論的には魅力的だが、実際の応用では単純なベースラインを下回ることが多い。
• ℓ1-ノルム正則化を超える一般化されたMKLの枠組みを、任意のノルム（特に p > 1 の ℓp-ノルムを含む）に拡張する。
• スケーラビリティと高速性を実現するため、カーネル結合とSVM学習を交互に更新する効率的な最適化アルゴリズムを設計する。
• さまざまなデータ条件におけるスパース、非スパース、および ℓ∞-ノルムMKLの理論的・実証的妥当性を調査する。
• 非スパースMKLが、現実の生物学的データセットにおいて最先端の性能を達成できることを示す。

提案手法

• p > 1 における ℓp-ノルム正則化を用いて、カーネル混合係数に一般化されたMKLを定式化する。
• カーネル重みの更新とSVM分類器の学習を交互に繰り返す、2つの効率的な入れ違い最適化戦略を提案する。これにより、高コストなラッパー・ループを回避できる。
• 凸共役双対性とブロック座標降下法を活用し、最適化問題に対する効率的な更新式を導出する。
• 強い双対性と制約規準を用いて、活性制約下でTikhonov正則化とIvanov正則化の定式化が等価であることを正当化する。
• 提案手法を、遺伝子発現やタンパク質分類といった現実の計算生物学問題に適用する。
• 理論的分析により、一般化誤差境界がノルムパラメータ p に依存することを導出し、真の解がスパースである場合にのみ ℓ1 が最適であることが示された。

実験結果

リサーチクエスチョン

• RQ1 ℓp-ノルム（p > 1）による非スパース正則化は、実応用において ℓ1-ノルムMKL よりも優れた一般化性能を達成するか？
• RQ2 入れ違い最適化戦略は、従来のラッパー基盤のアプローチと比較して、著しく訓練時間を短縮できるか？
• RQ3 どのような条件下で、非スパースMKL が理論的および実証的にスパースMKL よりも優れているか？
• RQ4 ノルムの選択（例：ℓ1、ℓ2、ℓ∞）が一般化誤差境界とモデル性能に与える影響は何か？
• RQ5 高次元のカーネル空間において、スパース解が普遍的に有益であるという仮定は、現実のデータにおいて妥当か？

主な発見

• ℓp-ノルム（p > 1）を用いた非スパースMKLは、3つの現実の計算生物学データセットにおいて、既存手法を上回る最先端の精度を達成した。
• 提案された入れ違い最適化戦略は、従来のラッパー手法と比較して著しく高速であり、大規模なMKL学習を可能にした。
• 人工データに対する実験結果から、真のカーネル結合がスパースでない場合、非スパースMKLが優れた性能を示した。これは、ℓ1正則化の優位性に疑問を呈するものである。
• 理論的分析により、ℓ1-ノルム正則化がよりタイトな一般化誤差境界をもたらすのは、真の解がスパースである場合に限られ、それ以外の場合は他のノルムが優れる可能性があることが確認された。
• 活性制約下で、Tikhonov正則化とIvanov正則化の等価性が形式的に正当化された。これにより、最適化問題の柔軟な再定式化が可能になった。
• ℓp-ノルムMKLに導かれた一般化誤差境界は、真の解がスパースである場合にのみ p = 1 で最小化されることを示し、スパース性に普遍的な優位性がないことを示唆している。