[論文レビュー] On the optimality of the Hedge algorithm in the stochastic regime

Jaouad Mourtada, Stéphane Gaïffas|arXiv (Cornell University)|Sep 5, 2018

Advanced Bandit Algorithms Research被引用数 14

ひとこと要約

本稿では、減少する学習率 $η_t \propto \sqrt{\log M / t}$ を用いた anytime Hedge アルゴリズムが、最適な $O(\log M / \Delta)$ のリグレットを確立する。これは、最良の適応的アルゴリズムと一致するが、特別なチューニングを必要としない。その単純さと非適応的学習率にもかかわらず、このアルゴリズムはより簡単な確率的環境に適応し、固定ホライズンやダブルイング・トリックの変種が適応に失敗するのとは対照的に、優れた性能を発揮する。

ABSTRACT

In this paper, we study the behavior of the Hedge algorithm in the online stochastic setting. We prove that anytime Hedge with decreasing learning rate, which is one of the simplest algorithm for the problem of prediction with expert advice, is surprisingly both worst-case optimal and adaptive to the easier stochastic and adversarial with a gap problems. This shows that, in spite of its small, non-adaptive learning rate, Hedge possesses the same optimal regret guarantee in the stochastic case as recently introduced adaptive algorithms. Moreover, our analysis exhibits qualitative differences with other variants of the Hedge algorithm, such as the fixed-horizon version (with constant learning rate) and the one based on the so-called "doubling trick", both of which fail to adapt to the easier stochastic setting. Finally, we discuss the limitations of anytime Hedge and the improvements provided by second-order regret bounds in the stochastic case.

研究の動機と目的

• 確率的設定におけるanytime Hedgeアルゴリズムの性能を分析すること。ここで、エキスパートの損失はi.i.d.であり、最良のエキスパートとの差が定数 $\Delta$ である。
• アドバーシャル設定を想定して設計された標準的なHedgeが、明示的なチューニングなしに、より簡単な確率的インスタンスに適応できるかを検証すること。
• 固定ホライズンおよびダブルイング・トリックの変種と比較して、anytime Hedgeの変種が確率的環境への適応性をどのように示すかを評価すること。
• ベイニス条件（低ノイズ状況をモデル化）下でのanytime Hedgeの限界を特定すること。
• より適応的なアルゴリズムが、複雑さの指標における差 $\Delta$ を超えて、改善をもたらすかを評価すること。

提案手法

• anytime regretの境界をすべての $T \geq 1$ に対して保証するため、減少する学習率 $\eta_t = c_0 \sqrt{\log M / t}$ を使用する。
• リグレットを時間経過に伴う期待損失に分解し、Hedgeの指数的重み付け機構を活用して、劣悪なエキスパートの影響を制御する。
• Hoeffdingの不等式を用いて、最良のエキスパートと劣悪なエキスパートとの間の累積損失差の尾確率を制御する。
• 定数損失 $\ell_{1,t} = 0$, $\ell_{i,t} = \Delta$ を持つ下界インスタンスを構築し、$(1,1)$-ベイニス条件を満たすようにする。
• 劣悪なエキスパートに顕著な重みを割り当てる確率を制限することで、期待リグレットの下界を導出する。
• ベイニス条件下で、Decreasing Hedgeのリグレットをより適応的なアルゴリズムと比較し、特定の低ノイズ領域で劣化することを示す。

実験結果

リサーチクエスチョン

• RQ1 減少する学習率を用いたanytime Hedgeアルゴリズムは、確率的設定に適応し、最悪ケースより優れたリグレットを達成できるか？
• RQ2 固定ホライズンおよびダブルイング・トリックの変種と比較して、anytime Hedgeの性能は確率的設定でどのように異なるか？
• RQ3 標準的なHedgeアルゴリズムは、低ノイズ学習をモデル化するベイニス条件下でも最適なリグレットを達成できるか？
• RQ4 差 $\Delta$ を超えて、anytime Hedgeが確率的環境における固有の限界をどのように示すか？
• RQ5 より適応的なアルゴリズムは、複雑な確率的インスタンスにおいて、標準的なHedgeを上回る明示的な改善を提供できるか？

主な発見

• 学習率 $\eta_t \propto \sqrt{\log M / t}$ を用いたanytime Hedgeアルゴリズムは、確率的設定で最適なリグレット境界 $O(\log M / \Delta)$ を達成し、最良の適応的アルゴリズムと一致する。
• 定数 $\eta_t = \sqrt{\log M / T}$ を用いた固定ホライズンHedge変種は、確率的状況下でも $\Theta(\sqrt{T \log M})$ のリグレットを示し、適応に失敗していることが示される。
• パラメータ $\beta < 1$ のベイニス条件下では、anytime Hedgeは改善されたリグレットを達成できない。これは、低ノイズ領域における根本的な限界を示している。
• Decreasing Hedgeのリグレットに対して、$\Omega(1/(c_0^4 (\log M)^2 \Delta))$ の下界が確立され、特定の条件下ではこれ以上改善できないことが示される。
• 分析により、2次的境界を満たすようなより適応的なアルゴリズムが、差 $\Delta$ を超えて複雑な確率的インスタンスにおいて、標準的なHedgeを上回ることを確認した。