[論文レビュー] A Drifting-Games Analysis for Online Learning and Applications to Boosting

Haipeng Luo, Robert E. Schapire|arXiv (Cornell University)|Jun 7, 2014

Advanced Bandit Algorithms Research参考文献 30被引用数 14

ひとこと要約

本稿は、オンライン学習のための新しいドリフトゲームフレームワークを導入し、凸な代替損失を用いることでミニマックス解析を可能にし、Hedge、バンディット、オンライン凸最適化の設定におけるパラメータフリーなアルゴリズムを新たに得る。主な貢献は、各ラウンドで多くの例を無視しながらも、AdaBoostに匹敵またはそれを上回るマージンと誤差の境界を達成する、新しい適応的ブースティングアルゴリズムNH-Boost.DTの開発である。

ABSTRACT

We provide a general mechanism to design online learning algorithms based on a minimax analysis within a drifting-games framework. Different online learning settings (Hedge, multi-armed bandit problems and online convex optimization) are studied by converting into various kinds of drifting games. The original minimax analysis for drifting games is then used and generalized by applying a series of relaxations, starting from choosing a convex surrogate of the 0-1 loss function. With different choices of surrogates, we not only recover existing algorithms, but also propose new algorithms that are totally parameter-free and enjoy other useful properties. Moreover, our drifting-games framework naturally allows us to study high probability bounds without resorting to any concentration results, and also a generalized notion of regret that measures how good the algorithm is compared to all but the top small fraction of candidates. Finally, we translate our new Hedge algorithm into a new adaptive boosting algorithm that is computationally faster as shown in experiments, since it ignores a large number of examples on each round.

研究の動機と目的

• オンライン学習アルゴリズムを設計するための一般的手法を、ドリフトゲームフレームワーク内でのミニマックス解析を用いて開発すること。
• Hedge、マルチアームドバンディット、オンライン凸最適化といった既存のオンライン学習設定を、共通のドリフトゲーム定式化によって統一的かつ一般化すること。
• 集中不等式に依存せずに、適応的レジーットと高確率境界を備えた新しいパラメータフリーなアルゴリズムを導出すること。
• 得られたHedgeアルゴリズムを、低マージンの例を無視する効率的で適応的なブースティングアルゴリズムに翻訳すること。
• 実験を通じて、計算効率の向上と一般化性能の改善を示すこと。

提案手法

• オンライン学習問題を、ドリフトゲームの変種（DGv1, DGv2, DGv3）に変換し、異なる学習設定をモデル化する。
• ドリフトゲームフレームワークに対してミニマックス解析を適用し、0-1損失関数から出発する。
• 0-1損失を凸な代替関数（例：指数関数的、2次関数的、正規分布型）を用いて緩和し、実行可能なアルゴリズムを導出する。
• 潜在関数と緩和技術を用いて、Hedgeアルゴリズムの一般化されたレシピ（アルゴリズム3）を導出する。
• 全候補の上位ε分率を除いたものに対する性能を測るεレジーットというレジーットの概念を一般化する。
• 得られたHedgeアルゴリズムを、例を行動とみなして加重多数決投票を用いることで、ブースティングアルゴリズム（NH-Boost.DT）に翻訳する。

実験結果

リサーチクエスチョン

• RQ1 統一的なドリフトゲームフレームワークを用いて、複数の設定にまたがるオンライン学習アルゴリズムを導出し、解析することは可能か？
• RQ2 凸な代替損失を用いることで、ドリフトゲームにおけるミニマックス解析を緩和し、実用的でパラメータフリーなアルゴリズムを導出できるか？
• RQ3 集中不等式に依存せずに、ドリフトゲームフレームワークが自然に高確率のレジーット境界をサポートできるか？
• RQ4 一般化されたεレジーットの概念は、オンライン学習とブースティングの両設定に一貫して適用可能か？
• RQ5 導出されたブースティングアルゴリズムNH-Boost.DTは、高マージンの例を無視することで高速な学習を達成するか？また、一般化性能は維持または向上するか？

主な発見

• 提案されたフレームワークは、Hedge、バンディット、オンライン凸最適化のための新しいパラメータフリーなアルゴリズムを導出し、EXP3 や連続的EXPといった既存手法を一般化する。
• フレームワークを経由して導出されたNormalHedge.DTアルゴリズムは、行動数に依存しない形で、すべてのεおよび時間枠に対してεレジーット境界を同時に達成する。
• 集中不等式に依存せず、ドリフトゲームのミニマックス構造に依存することで、高確率のレジーット境界を導出する。
• 新しいブースティングアルゴリズムNH-Boost.DTは、訓練誤差が Õ(exp(−1/3 Tγ²)) のオーダーに達し、マージン分布の境界がAdaBoostを上回り、最適マージン2γに収束する。
• 実験では、NH-Boost.DTが各ラウンドで多くの例に重みを0に割り当てることで、AdaBoost や NH-Boost よりも著しく高速であることが示された。
• NH-Boost.DTでは、重みが0に設定される例の割合が顕著に高く、低マージンの例を効率的にスキップできる能力が裏付けられた。