[論文レビュー] A Randomized Mirror Descent Algorithm for Large Scale Multiple Kernel Learning

Arash Afkanpour, András György+2 more|arXiv (Cornell University)|May 1, 2012

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、重要度サンプリングを用いて低分散勾配推定を構築することで、O(log d / ε²) の計算複雑度を達成する大規模な複数カーネル学習（MKL）のための確率的ミラー降下アルゴリズムを提案する。この手法により、特に多項式カーネルを含む指数的サイズのカーネル集合に対する効率的な最適化が可能となり、勾配の大きさに比例して座標をサンプリングすることで、dにたいする対数的依存性を達成し、スケーラビリティと速度において最先端の手法を上回る性能を発揮する。

ABSTRACT

We consider the problem of simultaneously learning to linearly combine a very large number of kernels and learn a good predictor based on the learnt kernel. When the number of kernels $d$ to be combined is very large, multiple kernel learning methods whose computational cost scales linearly in $d$ are intractable. We propose a randomized version of the mirror descent algorithm to overcome this issue, under the objective of minimizing the group $p$-norm penalized empirical risk. The key to achieve the required exponential speed-up is the computationally efficient construction of low-variance estimates of the gradient. We propose importance sampling based estimates, and find that the ideal distribution samples a coordinate with a probability proportional to the magnitude of the corresponding gradient. We show the surprising result that in the case of learning the coefficients of a polynomial kernel, the combinatorial structure of the base kernels to be combined allows the implementation of sampling from this distribution to run in $O(\log(d))$ time, making the total computational cost of the method to achieve an $ε$-optimal solution to be $O(\log(d)/ε^2)$, thereby allowing our method to operate for very large values of $d$. Experiments with simulated and real data confirm that the new algorithm is computationally more efficient than its state-of-the-art alternatives.

研究の動機と目的

• ベースカーネル数dが非常に大きい場合、特に組み合わせ構造を持つ空間において、複数カーネル学習（MKL）の計算的に非効率な問題を解決すること。
• dが大きい場合に、分散を制御した勾配推定を用いる確率的座標降下法により、MKLアルゴリズムの1イテレーションあたりのコストをO(d)からO(1)に削減すること。
• 勾配の大きさが大きい座標を優先することで、勾配の分散を最小化する座標更新のためのサンプリング戦略を設計すること。
• 多項式カーネルなどの特定のカーネル族に対して、その組み合わせ的構造を活用することで、計算複雑度におけるdに対する対数的依存性を達成すること。
• d、ε、カーネル構造に明示的な依存関係を持つ理論的収束保証を提供し、非常に大きなdに対してもスケーラブルな性能を実現すること。

提案手法

• 本手法は、座標更新を伴う確率的ミラー降下フレームワークを採用し、各イテレーションでi番目のカーネル重みに関する勾配|∇ᵢL|の大きさに比例してカーネルインデックスiを選択する。
• 提案分布が勾配成分の絶対値に比例するように、重要度サンプリングを用いて低分散勾配推定を構築する。
• 多項式カーネル族に対しては、単項式の階層的構造を活用し、最適な重要度分布からのサンプリングをO(log d)時間で実現する。
• グループpノルム正則化付きの経験的リスクを最小化する。正則化項はカーネル結合におけるスパarsityと安定性を促進する。
• 収束解析により、ε-最適解に到達するまでの総イテレーション数が、有利な状況ではdに依存しないO(log d / ε²)にスケーリングすることが示された。
• ラグランジュ双対性と双対分解を用いて、双対目的関数の勾配を導出し、効率的な更新ルールを可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模な複数カーネル学習において、確率的ミラー降下アルゴリズムがdにたいする非線形依存性を達成できるか？
• RQ2 dが大きい場合に、1イテレーションあたりのコストがO(1)であるような、低分散勾配推定をMKLで構築できるか？
• RQ3 組み合わせ的構造を持つカーネル空間において、勾配推定の最適な重要度サンプリング分布を効率的に実装できるか？
• RQ4 多項式カーネル学習において、O(log d / ε²)の複雑度を達成でき、指数的サイズのdに対してもスケーラブルか？
• RQ5 実際の実験において、提案手法は最先端のMKL手法と比較して収束速度と解の品質の点で優れているか？

主な発見

• 提案手法は、ε-最適解に到達するまでの計算複雑度がO(log d / ε²)であることを達成しており、dにたいする対数的依存性を有するため、非常に大きなカーネル集合に対しても実行可能である。
• 多項式カーネル族に対しては、単項式の階層的構造のおかげで、最適な重要度サンプリング分布の実装がO(log d)時間で可能である。
• 勾配推定器の分散は、事前分布のカーネルへの重みに依存し、有利な条件下ではdに依存しない。
• シミュレートデータおよび実データの実験により、既存の最先端のMKL手法と比較して、本手法は著しく計算的に効率的であることが確認された。
• dが大きい場合に、固定分布に基づく確率的手法（例：Nesterov, 2010）よりも収束速度が速く、適応的サンプリングによる利点を示した。
• 理論的解析により、εとdに明示的な依存関係を持つ収束保証を維持していることが確認された。これは、このような境界を持たない手法とは対照的である。