[論文レビュー] Optimal and Adaptive Algorithms for Online Boosting

Alina Beygelzimer, Satyen Kale+1 more|arXiv (Cornell University)|Feb 9, 2015

Advanced Bandit Algorithms Research参考文献 24被引用数 28

ひとこと要約

本稿では、2つの新しいオンラインブースティングアルゴリズムを紹介する：オンラインBBMは、目的の誤差率に到達するための弱学習器と例の数を最小化する最適で非適応的な手法であり、AdaBoost.OLはオンライン損失最小化から導かれたパラメータフリーで適応的なアルゴリズムで、性能に応じて弱学習器の重みを動的に調整する。主な貢献は、オンラインBBMがサンプルおよび弱学習器の複雑さにおいて漸近的に最適であることを証明することであり、AdaBoost.OLは強力な経験的性能を示す実用的な適応性を提供する。

ABSTRACT

We study online boosting, the task of converting any weak online learner into a strong online learner. Based on a novel and natural definition of weak online learnability, we develop two online boosting algorithms. The first algorithm is an online version of boost-by-majority. By proving a matching lower bound, we show that this algorithm is essentially optimal in terms of the number of weak learners and the sample complexity needed to achieve a specified accuracy. This optimal algorithm is not adaptive however. Using tools from online loss minimization, we derive an adaptive online boosting algorithm that is also parameter-free, but not optimal. Both algorithms work with base learners that can handle example importance weights directly, as well as by rejection sampling examples with probability defined by the booster. Results are complemented with an extensive experimental study.

研究の動機と目的

• 所定の誤差率に到達するために必要な弱学習器および学習例の数を最小化する理論的に最適なオンラインブースティングアルゴリズムの開発。
• 性能に応じて弱学習器の重みを動的に調整する、パラメータフリーで適応的なオンラインブースティングアルゴリズムの設計。
• バッチ設定における弱学習仮定を直接一般化する、新たな自然な弱オンライン学習可能性の定義の確立。
• 先行研究の制限、たとえば重み付きオンライン学習や既知のエッジパラメータ（γ）の必要性を克服するため、サンプリングに基づくおよび損失最小化に基づく手法の導入。

提案手法

• オンラインBBMは、ドリフトゲームから導かれたポテンシャルベースのフレームワークを用いて構築され、バッチブースティングをオンライン設定に自然に一般化することで最適な性能を達成する。
• アルゴリズムは重み付きオンライン学習を回避するため、例の重要性をシミュレートするためにリジェクトサンプリングを用いることで、実装の複雑さを低減する。
• AdaBoost.OLはオンライン損失最小化の観点から導出され、オンライン凸最適化のツールを用いて、弱学習器の履歴的性能に応じて重みを動的に調整する。
• アルゴリズムはパラメータフリーであり、γのチューニングの必要性がなく、より正確な弱学習器に高い重みを動的に割り当てる。
• 両アルゴリズムは、例の重要性重みまたはサンプリングをネイティブにサポートするベースラーナーと連携できるように設計されており、既存のオンライン学習システムへの効率的な統合を可能にする。
• 理論的分析により一致する下界が確立され、オンラインBBMが弱学習器の数とサンプル複雑さの点で漸近的に最適であることが証明される。

実験結果

リサーチクエスチョン

• RQ1 理論的に最適なオンラインブースティングアルゴリズムを構築可能か。すなわち、所定の誤差率に到達するために必要な弱学習器および例の数の下界を達成できるか。
• RQ2 弱学習器のエッジ（γ）に関する事前知識がなくても、性能に応じて弱学習器の重みを動的に調整する適応性をオンラインブースティングに組み込む方法は何か。
• RQ3 重み付きオンライン学習を必要とせず、代わりにサンプリングを用いて重要性重みをシミュレートすることでオンラインブースティングを達成可能か。
• RQ4 パラメータフリーであり、かつサンプル複雑さにおいて最適でなくても、経験的に有効な適応的オンラインブースティングアルゴリズムを導出可能か。
• RQ5 提案手法は、OSBoost や OSBoost.OCP といった既存手法と比較して、多様なデータセットにおいてテスト誤差およびロバストネスの点でどのように差がつくか。

主な発見

• オンラインBBMは、理論的下界に一致する最適なサンプル複雑さ Õ(1/(εγ²)) と弱学習器数の O(1/γ² log(1/ε)) を達成する。
• AdaBoost.OLはサンプル複雑さおよび弱学習器数の点で最適ではないが、T = Õ(1/(ε²γ⁴)) および N = O(1/(εγ²)) であり、適応的かつパラメータフリーである。
• 経験的に、オンラインBBMは13のデータセット全体でベースラインのVWラーナーに対して平均5.14%のテスト誤差改善を達成する。
• AdaBoost.OLはサンプリングを用いて平均2.57%（2.67%）の改善を達成し、ほとんどの場合でOSBoost.OCP（1.98%）およびOSBoost（1.13%）を上回る。
• 20news、a9a、letterなどの複数のデータセットにおいて、オンラインBBMはすべてのベースラインを下回る最低のテスト誤差を達成する。
• 実験結果は、AdaBoost.OLにおける適応性が理論的非最適性にもかかわらず強力な経験的性能をもたらすことを確認しており、動的重み付けの実用的価値を強調する。