[論文レビュー] Localized Multiple Kernel Learning---A Convex Approach

Yunwen Lei, Alexander Binder+2 more|arXiv (Cornell University)|Jun 14, 2015

Face and Expression Recognition参考文献 42被引用数 7

ひとこと要約

本稿では、事前に計算されたクラスタ構造を活用して、サンプルに適応するカーネル重み付けを可能にする、局所的複数カーネル学習（LMKL）の凸形式を提案する。ラデマッハ複雑度解析を通じて一般化保証を確保する。この手法は、グローバルおよび非凸な局所的MKLアプローチよりも高い予測精度を達成し、スプライスサイト検出において最大+5%の向上を示す。

ABSTRACT

We propose a localized approach to multiple kernel learning that can be formulated as a convex optimization problem over a given cluster structure. For which we obtain generalization error guarantees and derive an optimization algorithm based on the Fenchel dual representation. Experiments on real-world datasets from the application domains of computational biology and computer vision show that convex localized multiple kernel learning can achieve higher prediction accuracies than its global and non-convex local counterparts.

研究の動機と目的

• 既存の非凸な局所的複数カーネル学習（MKL）手法における一般化誤差バウンディングの欠如に対処する。
• 事前に計算されたクラスタ構造に基づいて、サンプルに適応するカーネル重み付けを可能にする、局所的MKLの凸最適化フレームワークを開発する。
• 局所的極小値や一貫性のない結果といった非凸最適化の落とし穴を避けることで、効率的かつ再現可能な学習を実現する。
• ラデマッハ複雑度理論を用いて理論的な一般化性能バウンディングを確立し、クラスタ所属の滑らかさと誤差制御の関係を明示する。
• 実世界のデータセットにおいて、グローバルおよび非凸な局所的MKLベースラインを上回る優れた実験的性能を示す。

提案手法

• 与えられたクラスタ構造に基づいて、局所的MKLを凸最適化問題として定式化し、理論的保証を可能にする。
• フェンヒェル双対性を用いて、この凸問題を効率的に解く最適化アルゴリズムを導出する。
• クラスタ所属に依存するゲーティング関数を定義することで、カーネル寄与の局所的適応を可能にする。
• ラデマッハ複雑度を用いて大偏差バウンディングを導出し、クラスタ所属の滑らかさが一般化誤差を低減することを示す。
• 特徴量の明示的表現を避けるためにカーネルトリックを採用し、1イテレーションあたり$O(n^2M)$の計算複雑度を達成する。
• CLMKLおよびHLMKLのためのクラスタ生成に、一様カーネルを用いたカーネルk-meansを実装し、原始的特徴量が利用できない場合のゲーティングモデルも同様のカーネルで定義する。

実験結果

リサーチクエスチョン

• RQ1 一般化性能と理論的保証を備えた、局所的複数カーネル学習の凸形式を開発できるか？
• RQ2 クラスタ所属割り当ての滑らかさは、局所的MKLにおける一般化誤差にどのように影響するか？
• RQ3 凸な局所的MKLは、グローバルMKLおよび非凸な局所的MKLを上回る予測精度を達成できるか？
• RQ4 提案手法の凸LMKLアルゴリズムは、既存の非凸実装と比較して計算効率がどの程度高いか？
• RQ5 提案手法は、非凸最適化における局所的極小値の落とし穴を回避し、再現性のある結果を維持できるか？

主な発見

• 提案された凸な局所的MKLは、スプライスサイト検出において非凸な局所的およびグローバルMKLベースラインと比較して最大+5%の高い予測精度を達成する。
• 一般化誤差は、ラデマッハ複雑度バウンディングを通じて形式化されたクラスタ所属の滑らかさによって制御される。
• アルゴリズムの1イテレーションあたりの計算量は$O(n^2M)$であり、GönenとAlpaydinの元の非凸手法の$O(n^2M^2d)$と比較して顕著に高速である。
• タンパク質フォールド予測および視覚的画像分類の実験結果から、$ extbackslash{}ell_p$-ノルムMKLおよび非凸LMKLを上回る一貫した性能向上が確認された。
• 凸性のおかげで再現性のある結果が得られ、非凸な局所的極小値に起因する不安定性やばらつきを回避できる。
• クロスバリデーションによるロバストなパrameterチューニングを経て、計算生物学およびコンピュータビジョンの複数のデータセットおよびタスクにおいて、広範な性能向上が観察された。