[論文レビュー] Projection-free Online Learning

Elad Hazan, Satyen Kale|arXiv (Cornell University)|Jun 18, 2012

Advanced Bandit Algorithms Research参考文献 19被引用数 69

ひとこと要約

本稿では、計算コストの高い射影ステップをフランク＝ウォルフ法による効率的な線形最適化に置き換える投影自由なオンライン学習アルゴリズムを提案する。これにより、オンライン凸最適化においてより良いレグレットバウンドを達成する。この手法は確率的設定においてパラメータフリーであり、スパースな解を生成し、協調フィルタリングタスクにおいて明確な実験的利点を示す。

ABSTRACT

The computational bottleneck in applying online learning to massive data sets is usually the projection step. We present efficient online learning algorithms that eschew projections in favor of much more efficient linear optimization steps using the Frank-Wolfe technique. We obtain a range of regret bounds for online convex optimization, with better bounds for specific cases such as stochastic online smooth convex optimization. Besides the computational advantage, other desirable features of our algorithms are that they are parameter-free in the stochastic case and produce sparse decisions. We apply our algorithms to computationally intensive applications of collaborative filtering, and show the theoretical improvements to be clearly visible on standard datasets.

研究の動機と目的

• 大規模データセットにおけるオンライン学習の射影ステップの計算ボトル neck を解消する。
• 線形最適化サブルーチンを活用することで、射影を回避する効率的なオンライン学習アルゴリズムを開発する。
• 特に確率的滑らかな凸最適化のケースにおいて、より良いレグレットバウンドを達成する。
• 確率的設定においてパラメータフリーの動作を保証し、スパースな意思決定ベクトルを生成する。
• 協調フィルタリングのような計算的に高負荷なタスクにおいて、実用的効果を示す。

提案手法

• 射影を線形最適化ステップに置き換えることで、フランク＝ウォルフ法をオンライン凸最適化に適応する。
• 制約集合への明示的射影を伴わずに妥当性を保つコンditional gradient スタイルの更新を用いる。
• 確率的設定における未知の問題パラメータに適応可能なパラメータフリーな変種を導入する。
• 意思決定を可行領域の極点の凸結合として維持することで、意思決定のスパarsityを保証する。
• フランク＝ウォルフギャップと曲率定数を用いてレグレットバウンドを導出し、滑らかで強く凸な関数に対してはよりタイトなバウンドを得る。
• ユーザー・アイテム相互作用をオンライン更新可能な低ランク行列補完問題としてモデル化することで、協調フィルタリングにアルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 射影ステップを線形最適化に置き換えることで、オンライン学習のスケーラビリティを向上させられるか？
• RQ2 オンライン凸最適化において、投影自由な手法を用いることで達成可能なレグレットバウンドは何か？
• RQ3 実際の応用において、投影自由なオンライン学習の性能は、従来の射影付き手法と比べてどの程度優れているか？
• RQ4 パラメータフリーの動作を保ちつつ、レグレット保証を損なわずに実現できるか？
• RQ5 意思決定のスパarsityが、協調フィルタリングのような実世界の応用において、解釈可能性と効率性をどの程度向上させるか？

主な発見

• 提案されたアルゴリズムは、一般の凸関数に対して O(T^{2/3}) のレグレットバウンド、強く凸な関数に対しては O(log T) のレグレットバウンドを達成し、射影付き手法の既知のバウンドと一致する。
• 滑らかな確率的オンライン凸最適化において、問題パラメータの知識が不要な状態で O(log T) のレグレットバウンドを達成する。
• アルゴリズムは、意思決定が可行領域の極点の少数の凸結合として表現されることで、スパースな解を生成する。
• 標準的な協調フィルタリングデータセットにおける実験的評価では、射影付き手法と比較して明確な計算上の利点と高速な収束速度を示す。
• フランク＝ウォルフに基づくアプローチは、1イテレーションあたりのコストを顕著に低減し、大規模およびストリーミングデータ応用に適している。
• 射影が存在しないため、理論的保証を維持しつつ、実世界の展開においてより実用的である。