[論文レビュー] Adaptive Hedge

Tim van Erven, Peter Grünwald+2 more|arXiv (Cornell University)|Oct 28, 2011

Advanced Bandit Algorithms Research参考文献 10被引用数 10

ひとこと要約

本稿では、最悪ケースの最適性を損なわず、容易なオンライン学習インスタンスにおける性能を向上させるために、Hedgeアルゴリズムのための適応的学習率メカニズムを提案する。観測された損失に基づいて学習率を動的に調整することにより、特定の行動が常に他の行動を上回る確率的設定では、固定率アプローチと比較して顕著に減少する定常なリグレットを達成する。

ABSTRACT

Most methods for decision-theoretic online learning are based on the Hedge algorithm, which takes a parameter called the learning rate. In most previous analyses the learning rate was carefully tuned to obtain optimal worst-case performance, leading to suboptimal performance on easy instances, for example when there exists an action that is significantly better than all others. We propose a new way of setting the learning rate, which adapts to the difficulty of the learning problem: in the worst case our procedure still guarantees optimal performance, but on easy instances it achieves much smaller regret. In particular, our adaptive method achieves constant regret in a probabilistic setting, when there exists an action that on average obtains strictly smaller loss than all other actions. We also provide a simulation study comparing our approach to existing methods.

研究の動機と目的

• 固定学習率のHedgeアルゴリズムの限界、すなわち最悪ケースの保証は最適であるが、容易なインスタンスでは性能が劣ることを是正すること。
• 最悪ケースの最適性を維持しながら、容易な問題におけるリグレットを顕著に低減する学習率適応戦略を開発すること。
• 特定の行動が他のすべての行動よりも常に低い平均損失を持つ確率的設定で定常的リグレットを達成すること。
• シミュレーションを通じて、提案手法を既存の手法と比較して実証的に検証すること。

提案手法

• 本手法は、観測された累積損失に基づいて学習率を動的に調整し、優れた行動に対する信頼が高まるにつれて、保守的から能動的な更新へとシフトする。
• 行動の相対的パフォーマンスに依存する、新規の学習率スケジューリングを用いる。特定の行動が明確に優位である場合には、迅速な収束を促進する。
• 適応メカニズムにより、最悪ケースにおいても、標準Hedgeアルゴリズムの最適なリグレットバウンド内に保たれる。
• 意思決定理論的オンライン学習に基づき、適応的パrameterチューニングを組み込んだHedgeフレームワークの拡張である。
• 計算効率が高く、既存のオンライン学習パイプラインと互換性があるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 最悪ケースの最適性を維持しながら、容易なインスタンスにおけるリグレットを顕著に低減する学習率適応戦略を設計可能か？
• RQ2 特定の行動が平均損失の観点ですべての他の行動を確率的に優位にしている場合、提案手法は定常的リグレットを達成するか？
• RQ3 標準Hedgeや他の既存手法と比較して、適応的Hedge手法のリグレットと収束速度はどのように異なるか？

主な発見

• 適応的Hedge手法は、特定の行動が他のすべての行動よりも厳密に低い期待損失を持つ確率的設定で、定常的リグレットを達成する。
• 容易なインスタンスでは、固定学習率を用いた標準Hedgeと比較して、本手法は顕著にリグレットを低減する。
• 本手法は、元のHedgeアルゴリズムの最適な最悪ケースリグレットバウンドを維持しており、あらゆる問題タイプにわたり耐障害性を確保する。
• シミュレーション結果は、本手法が容易かつ構造的インスタンスにおいて、既存手法よりもリグレット低減の面で優れていることを示している。