[論文レビュー] Fast Bounded Online Gradient Descent Algorithms for Scalable Kernel-Based Online Learning

Peilin Zhao, Jialei Wang+3 more|arXiv (Cornell University)|Jun 18, 2012

Advanced Bandit Algorithms Research参考文献 16被引用数 41

ひとこと要約

本稿では、均等採択および非均等採択を用いて固定予算のサポートベクターを維持する、スケーラブルなカーネルベースのオンライン学習のための2つの効率的な境界付きオンライン勾配降下（BOGD）アルゴリズム—BOGDおよびBOGD++—を提案する。これらの手法は、既存の手法と比較して優れたレジレット境界と優れた効率性・正確性を達成する。

ABSTRACT

Kernel-based online learning has often shown state-of-the-art performance for many online learning tasks. It, however, suffers from a major shortcoming, that is, the unbounded number of support vectors, making it non-scalable and unsuitable for applications with large-scale datasets. In this work, we study the problem of bounded kernel-based online learning that aims to constrain the number of support vectors by a predefined budget. Although several algorithms have been proposed in literature, they are neither computationally efficient due to their intensive budget maintenance strategy nor effective due to the use of simple Perceptron algorithm. To overcome these limitations, we propose a framework for bounded kernel-based online learning based on an online gradient descent approach. We propose two efficient algorithms of bounded online gradient descent (BOGD) for scalable kernel-based online learning: (i) BOGD by maintaining support vectors using uniform sampling, and (ii) BOGD++ by maintaining support vectors using non-uniform sampling. We present theoretical analysis of regret bound for both algorithms, and found promising empirical performance in terms of both efficacy and efficiency by comparing them to several well-known algorithms for bounded kernel-based online learning on large-scale datasets.

研究の動機と目的

• カーネルベースのオンライン学習におけるサポートベクターの無限増加によるスケーラビリティの問題に対処すること。
• 学習パフォーマンスを損なわずに固定予算のサポートベクターを維持する計算的に効率的なアルゴリズムの開発。
• 単純なパーセプトロン型更新に依存するがゆえに遅いか、効果が薄い既存の境界付きカーネル手法の改善。
• 境界付きサポートベクター制約下での提案アルゴリズムの理論的レジレット境界の提供。
• 大規模データセットにおけるアルゴリズムの有効性と効率性の実証的検証。

提案手法

• 事前に定義された予算に制限されたサポートベクターの数を保証する境界付きオンライン勾配降下（BOGD）フレームワークを提案。
• オンライン学習中にサポートベクターを維持するために均等採択を用いたBOGDを導入。
• 勾配の大きさに基づいてより情報量の多いサポートベクターを優先する非均等採択を用いたBOGD++を構築。
• 予算制約を満たすようにしながら、双対最適化問題にオンライン勾配降下更新を適用。
• 新しいサポートベクターが、採択基準に基づいて最も重要性が低いものと入れ替わる動的置換戦略を採用。
• 標準的な仮定の下で、BOGDおよびBOGD++の両者に対して、非線形のレジレット境界を示す理論的分析を提供。

実験結果

リサーチクエスチョン

• RQ1 境界付きカーネルベースのオンライン学習アルゴリズムは、大規模データセットにスケーラブルに拡張しつつ、高い正確性を維持できるか？
• RQ2 学習パフォーマンスと計算コストの観点から、非均等採択のサポートベクターは均等採択と比べてどのように異なるか？
• RQ3 提案された境界付きオンライン勾配降下アルゴリズムの理論的レジレット境界は何か？
• RQ4 BOGDおよびBOGD++は、既存の境界付きカーネル手法と比較して、収束速度および正確性の点で実際どのように異なるか？
• RQ5 提案されたフレームワークは、大規模オンライン学習タスクにおいて最先端のパフォーマンスを達成できるか？

主な発見

• BOGD++は非均等採択戦略のおかげで、大規模データセットにおいてBOGDおよび他のベースライン手法よりも優れた汎化性能を達成する。
• BOGDおよびBOGD++の両者とも、非線形のレジレット境界を示しており、理論的収束保証が裏付けられる。
• 提案されたアルゴリズムは、既存の境界付きカーネル手法と比較して、計算効率性およびスケーラビリティの点で顕著に優れている。
• 実験結果から、BOGD++は均等採択手法と比較して、より高い正確性/予算比を維持していることが示された。
• フレームワークは、学習パフォーマンスを低下させることなく、サポートベクターの数を事前に定義された予算に制限できることを成功裏に示した。
• アルゴリズムは大規模データセットに効果的にスケーリングでき、カーネルベースのオンライン学習を実世界の応用に実用可能にした。