[論文レビュー] Follow the Leader If You Can, Hedge If You Must

Steven de Rooij, Tim van Erven+2 more|arXiv (Cornell University)|Jan 3, 2013

Advanced Bandit Algorithms Research参考文献 25被引用数 98

ひとこと要約

この論文は、初めてのオンライン学習アルゴリズムであるFlipFlopを紹介している。このアルゴリズムは、確率的データではフォローザ・リーダー（FTL）のレジレットに定数倍要因内で近づき、敵対的データではHedgeと同等の最悪ケースのレジレット保証を達成するという、両者の長所を組み合わせることを証明可能に実現する。この手法は、FTLとAdaHedge——損失のスケーリングや平行移動に対して不変であり、ダブルイング・トリックを回避する、新しい自己適応的学習率チューニング機構——を動的に入れ替えることで、容易なデータにおけるFTLの優れた性能と、困難なデータにおけるHedgeの頑健性を活用する。

ABSTRACT

Follow-the-Leader (FTL) is an intuitive sequential prediction strategy that guarantees constant regret in the stochastic setting, but has terrible performance for worst-case data. Other hedging strategies have better worst-case guarantees but may perform much worse than FTL if the data are not maximally adversarial. We introduce the FlipFlop algorithm, which is the first method that provably combines the best of both worlds. As part of our construction, we develop AdaHedge, which is a new way of dynamically tuning the learning rate in Hedge without using the doubling trick. AdaHedge refines a method by Cesa-Bianchi, Mansour and Stoltz (2007), yielding slightly improved worst-case guarantees. By interleaving AdaHedge and FTL, the FlipFlop algorithm achieves regret within a constant factor of the FTL regret, without sacrificing AdaHedge's worst-case guarantees. AdaHedge and FlipFlop do not need to know the range of the losses in advance; moreover, unlike earlier methods, both have the intuitive property that the issued weights are invariant under rescaling and translation of the losses. The losses are also allowed to be negative, in which case they may be interpreted as gains.

研究の動機と目的

• 容易（確率的）なデータと最悪ケース（敵対的）なデータの両方で良好に動作するオンライン学習アルゴリズムの開発。
• FTLの限界を解決すること：容易なデータでは定数レジレットを達成するが、敵対的データでは線形レジレットを示す。
• 時間枠の事前知識が不要なダブルイング・トリックを排除した、既存のHedge変種の改善。
• 損失のスケーリングや平行移動、負の損失（利益と解釈される場合を含む）に対しても、重みが不変であることを保証すること。
• FTLのレジレットに定数倍要因内で近づくが、最悪ケースの頑健性を維持する統一的な手法の提供。

提案手法

• ダブルイング・トリックを用いないHedgeにおける学習率の動的チューニングのための新規手法AdaHedgeの導入。
• 学習率の寄与とミキシングギャップを分離する、新しいレジレット分解の適用。
• 最良のエキスパートの累積損失と現在の損失分散に基づいて、時間に依存する学習率を採用。
• FTLとAdaHedgeをFlipFlopアルゴリズム内で入れ替えながら使用し、容易なデータにおけるFTLの優れた性能と、困難なデータにおけるHedgeの頑健性を活用。
• 損失ベクトルのアフィン変換に対して重みが不変となるように、正規化されスケール不変な損失表現を使用。
• PAC-Bayesianスタイルの境界を活用し、事前分布と事後分布のKLダイバージェンスに依存する、レジレット上界を導出。

実験結果

リサーチクエスチョン

• RQ1 容易なデータではFTLに類似したレジレットを達成し、最悪ケースのレジレット境界をHedgeと同等に保つオンライン学習アルゴリズムを設計可能か？
• RQ2 時間枠の事前知識なしに、ダブルイング・トリックや事前知識に依存せずに、Hedgeにおける学習率を動的にチューニングすることは可能か？
• RQ3 損失関数のスケーリングや平行移動に対して不変となるアルゴリズムは、どのように実現できるか？
• RQ4 FTLとHedgeを統合する1つのフレームワーク内で、最小限のレジレットを達成できるか？
• RQ5 ハイブリッドアルゴリズムのレジレットが、FTLのレジレットに定数倍要因内で抑えられ、最悪ケースの頑健性を維持できるか？

主な発見

• FlipFlopは、容易なデータにおいてFTLのレジレットに定数倍要因内で近づき、最悪ケースのレジレットがO(√T)のオーダーで、情報理論的下界と一致する。
• AdaHedgeは、以前の自己適応的Hedge手法よりも最悪ケースのレジレット保証を改善し、事前分布と最良エキスパートの累積損失に依存するレジレット境界を達成する。
• FlipFlopアルゴリズムは、損失の範囲や時間枠の事前知識を必要としないため、従来の手法よりも実用的である。
• アルゴリズムの重みは損失ベクトルのスケーリングや平行移動に対して不変であり、損失空間における任意のアフィン変換に対して頑健性を保証する。
• この手法は負の損失を利益として扱えるため、非負の損失設定に限らない応用範囲を拡張する。
• FlipFlopのレジレット境界は、学習率の寄与とミキシングギャップを分離する新しい分解により導出され、パフォーマンスに対するきめ細やかな制御が可能になる。