[論文レビュー] Multiple Kernel Learning: A Unifying Probabilistic Viewpoint

Hannes Nickisch, Matthias Seeger|arXiv (Cornell University)|Mar 4, 2011

Gaussian Processes and Bayesian Inference参考文献 16被引用数 8

ひとこと要約

この論文は、正則化リスク手法が近似ベイズ推論の特別な場合であることを示しながら、確率的フレームワーク下で複数核学習（MKL）を統一する。回帰、ロバスト回帰、分類に適用可能な、収束性が保証され、効率的な二重ループ最適化アルゴリズムを提案する。

ABSTRACT

We present a probabilistic viewpoint to multiple kernel learning unifying well-known regularised risk approaches and recent advances in approximate Bayesian inference relaxations. The framework proposes a general objective function suitable for regression, robust regression and classification that is lower bound of the marginal likelihood and contains many regularised risk approaches as special cases. Furthermore, we derive an efficient and provably convergent optimisation algorithm.

研究の動機と目的

• 正則化リスクアプローチと確率的核学習を、共通の理論的枠組みの下で統一すること。
• 正則化リスクとベイズ推論の両キャンプに広く使われているが、異なるMKL手法の間の関係を明確にすること。
• 回帰、ロバスト回帰、分類のさまざまな学習タスクに効率的に対応できる汎用的最適化アルゴリズムを開発すること。
• MAP、周辺尤度最大化、変分ベイズ近似を包含する統一的核学習の視点を提供すること。
• 外部最適化ライブラリを必要とせず、収束性と計算効率を保証すること。

提案手法

• 周辺尤度の下界として機能し、正則化リスク基準を一般化する統一的目的関数を提案する。
• ニュートン型ステップを用いて、潜在関数値と核重みの間を交互に更新する二重ループ最適化アルゴリズムを導出する。
• レジェンドル双対性を用いて周辺尤度における対数行列式項を扱い、非凸最適化問題の凸緩和を可能にする。
• 核重みの非負制約を満たすためにバリア法を採用し、数値的安定性を確保する。
• 対数行列式項に接線近似を適用することで、効率的なヘッシアン計算と収束性の保証を可能にする。
• 潜在変数の再パラメータライゼーションとコレスキー分解を用いることで、変分ベイズとMAP推定にフレームワークを適応する。

実験結果

リサーチクエスチョン

• RQ1 正則化リスク最小化と確率的核学習を、一つの枠組み内で正式に結びつける方法は何か？
• RQ2 MAP、MLM、および変分ベイズを含む多様なMKLアプローチに共通する最適化構造は何か？
• RQ3 回帰、ロバスト回帰、分類のあらゆるタスクに適用可能な、単一で効率的かつ収束性が保証されたアルゴリズムを設計できるか？
• RQ4 周辺尤度における対数行列式項の役割は何か？非凸設定においてはどのように効率的に近似できるか？
• RQ5 MAP、MLM、VBのアルゴリズム的構造はどのように関連し合い、それらを統一的に扱うことで何が明らかになるか？

主な発見

• 提案されたフレームワークにより、正則化リスク、MAP、周辺尤度最大化が、単一の確率的目的関数の特別な場合として統一される。
• 接線近似とニュートンステップを活用することで、二重ループアルゴリズムは収束性を保証し、1イタレーションあたりの計算コストは $ O(n^3 + M n^2) $ である。
• バリア法と双対パrameterizationを用いることで、非凸性を効率的に扱い、核重みが非負のまま保たれる。
• 変分ベイズでは、コレスキー分解のため、計算コストが $ O(M n^3) $ に上昇するが、これは標準的なラプラス近似と同等の複雑さである。
• 再パラメータライゼーションにより、共同MAPとVBは同じ凸性構造を持つことが明らかになり、統一的な最適化が可能になる。
• 実験的評価では、標準的な交互最小化よりも収束が速く、回帰および分類タスクにおいて安定性と精度が向上している。