[論文レビュー] Anytime Hedge achieves optimal regret in the stochastic regime.

Jaouad Mourtada, Stéphane Gaïffas|arXiv (Cornell University)|Sep 5, 2018

Advanced Bandit Algorithms Research参考文献 29被引用数 4

ひとこと要約

本稿では、減少する学習率を用いたanytime Hedgeアルゴリズムが、ギャップのある確率的および敵対的環境において、最悪ケース最適なリグレットと適応的性能の両方を達成することを示している。これは、最小最大リグレットを達成しながら問題の難易度に適応できるのは、複雑な適応的アルゴリズムに限るとの一般的な信念に挑戦するものである。分析により、固定ホライズンおよびダブリング・トリックの変種とは根本的に異なる点が明らかになった。

ABSTRACT

This paper is about a surprising fact: we prove that the anytime Hedge algorithm with decreasing learning rate, which is one of the simplest algorithm for the problem of prediction with expert advice, is actually both worst-case optimal and adaptive to the easier stochastic and adversarial with a gap problems. This runs counter to the common belief in the literature that this algorithm is overly conservative, and that only new adaptive algorithms can simultaneously achieve minimax regret and adapt to the difficulty of the problem. Moreover, our analysis exhibits qualitative differences with other variants of the Hedge algorithm, based on the so-called doubling trick, and the fixed-horizon version (with constant learning rate).

研究の動機と目的

• anytime Hedgeアルゴリズムは適応的設定において過剰に慎重で最適でないという一般的な信念に挑戦すること。
• 減少する学習率を用いたanytime Hedgeアルゴリズムが、最悪ケースにおいて最小最大リグレット最適であることを確立すること。
• アルゴリズムがより簡単な確率的環境に適応し、より難しい敵対的環境（ギャップあり）においても最適なパフォーマンスを達成できることを示すこと。
• fixed-horizonおよびdoubling-trickの変種と比較し、性能および適応性における質的差異を強調すること。

提案手法

• 時間ホライズンにわたる適応性を可能にするために、減少する学習率スケジュールを用いたanytime Hedgeアルゴリズムを分析する。
• リグレット解析技術を用いて、最悪ケースにおいて最適であり、かつ確率的領域に適応する境界を導出する。
• anytime Hedgeアルゴリズムのパフォーマンスを、固定ホライズンHedge（定数学習率）およびダブリング・トリックの変種と比較する。
• 理論的解析を用いて、アルゴリズムのリグレットが敵対的および確率的設定の両方で最適にスケーリングされることを示す。
• アルゴリズムが、時間ホライズンや問題の難易度の事前知識なしに最適なパフォーマンスを達成できることを示す。
• 学習率の減少が、探索と活用の動的バランスを可能にし、適応的リグレット境界をもたらすことを確立する。

実験結果

リサーチクエスチョン

• RQ1 減少する学習率を用いたanytime Hedgeアルゴリズムは、最悪ケース設定において最小最大リグレットを達成できるか？
• RQ2 anytime Hedgeアルゴリズムは、より簡単な確率的領域に適応しながら、最悪ケース性能を維持できるか？
• RQ3 fixed-horizonおよびdoubling-trickの変種と比較して、anytime Hedgeアルゴリズムのリグレットおよび適応性はどのように異なるか？
• RQ4 適応的学習設定において、anytime Hedgeと他のHedge変種との間には、行動にどのような質的差異が存在するか？

主な発見

• 減少する学習率を用いたanytime Hedgeアルゴリズムは、最小最大リグレットを達成し、理論的最悪ケース下限と一致する。
• アルゴリズムは確率的領域に適応し、環境が確率的である場合、最悪ケース境界よりも著しく優れたリグレットを達成する。
• アルゴリズムは、確率的および敵対的領域間でパフォーマンスにギャップを示し、真の適応性を示している。
• 分析により、anytime Hedgeアルゴリズムは、固定ホライズンおよびdoubling-trickの変種とは本質的に異なる行動を示すことが明らかになった。特に、リグレットのバランスの取り方において顕著な差異がある。
• アルゴリズムは、時間ホライズンや問題の難易度の事前知識なしに最適なパフォーマンスを達成できることを示した。
• 結果は、最小最大リグレットと適応性を同時に達成できるのは、新たに設計された適応的アルゴリズムに限るとの長年の信念に反するものである。