[論文レビュー] Prediction strategies without loss

Michael Kapralov, Rina Panigrahy‎|arXiv (Cornell University)|Aug 22, 2010

Advanced Bandit Algorithms Research参考文献 13被引用数 12

ひとこと要約

本稿では、シーケンス長に対して指数的に小さい（近似的にゼロ）期待損失を達成しながら、常に0または1を予測する最良の選択肢に対する最適なレグレット境界を維持する、新しい予測アルゴリズムを提示する。ツリーに基づく比較フレームワークと適応的信頼度重み付けを活用することで、サブ定数損失と $O(\sqrt{T \log T})$ のレグレットを実現し、エキスパート予測および損失とレグレットのトレードオフがタイトなオンライン最適化分野において、先行研究を改善する。

ABSTRACT

Consider a sequence of bits where we are trying to predict the next bit from the previous bits. Assume we are allowed to say 'predict 0' or 'predict 1', and our payoff is +1 if the prediction is correct and -1 otherwise. We will say that at each point in time the loss of an algorithm is the number of wrong predictions minus the number of right predictions so far. In this paper we are interested in algorithms that have essentially zero (expected) loss over any string at any point in time and yet have small regret with respect to always predicting 0 or always predicting 1. For a sequence of length $T$ our algorithm has regret $14εT $ and loss $2\sqrt{T}e^{-ε^2 T} $ in expectation for all strings. We show that the tradeoff between loss and regret is optimal up to constant factors. Our techniques extend to the general setting of $N$ experts, where the related problem of trading off regret to the best expert for regret to the `special' expert has been studied by Even-Dar et al. (COLT'07). We obtain essentially zero loss with respect to the special expert and optimal loss/regret tradeoff, improving upon the results of Even-Dar et al and settling the main question left open in their paper. The strong loss bounds of the algorithm have some surprising consequences. A simple iterative application of our algorithm gives essentially optimal regret bounds at multiple time scales, bounds with respect to $k$-shifting optima as well as regret bounds with respect to higher norms of the input sequence.

研究の動機と目的

• 任意のビット列に対して、期待損失が本質的にゼロとなる予測戦略を設計すること。また、最良の固定予測（0または1）に対する低レグレットを維持すること。
• Even-Dar ら（2007）が残した未解決の問題、すなわち、サブ定数損失と最適なレグレットがエキスパートアドバイスフレームワークで同時に達成可能かどうかを解消すること。
• 一般のNエキスパート設定への損失／レグレットトレードオフの拡張を図り、一様事前分布に関してほぼゼロの損失、および最良のエキスパートに関して最適なレグレットを達成すること。
• 提案されたアルゴリズムが複数の時間スケールで最適なレグレットを達成できることを示すこと。また、kシフト型最適解に対しても有効であることを示すこと。
• オンライン凸最適化において、すべての経路長に対して競争的な動的レグレットバウンドを達成できることを示すこと。

提案手法

• アルゴリズムは、異なる信頼度レベルを持つ複数の予測戦略を同時に評価できるツリー構造に基づく比較フレームワークを用い、過去のパフォーマンスに応じた適応的重み付けを可能にする。
• 予測は信頼度 $ c \in [0,1] $ で行われるランダム化された信頼度メカニズムを採用し、時間経過に伴う信頼度の適切な減衰により、探索と活用のバランスを取る。
• 階層的なツリー構造を用いたエキスパートの再帰的集約により、各レベルが異なる学習率と信頼度閾値に対応し、マルチスケールのレグレット制御を実現する。
• コアな解析は、集中不等式とマルティンゲールの議論を用いて期待損失をバウンドすることに依存し、特に $ \mathbb{E}[\hat{x}_i(t)] = x_i(t) $ を用いてバイアスを制御する。
• レグレットは、すべての時間区間および信頼度レベルにおける和集合の不等式を用いて導出され、最終的なバウンドは $ \sqrt{T \log(1/Z)} $ に依存する。ここで $ Z $ は小さな失敗確率である。
• オンライン凸最適化への拡張では、異なる学習率 $ \eta_j = 2^{-j} $ を持つ複数の勾配降下インスタンスを組み合わせ、経路長に依存する選択を用いることで、動的レグレットバウンドを達成する。

実験結果

リサーチクエスチョン

• RQ1 予測アルゴリズムは、最良の固定予測（0または1）に対する $ O(\sqrt{T \log T}) $ のレグレットを維持しながら、サブ定数の期待損失を達成可能か？
• RQ2 Nエキスパート設定において、エキスパートの均一分布に関してほぼゼロの損失を達成し、最良のエキスパートに対する最適なレグレットを維持することは可能か？
• RQ3 オンライン学習における損失とレグレットの最適なトレードオフは何か？ そして、指数的に小さい損失を達成できるか？
• RQ4 このフレームワークは、複数の時間スケールにおけるレグレットバウンドおよびkシフト型最適解に対するバウンドをサポートできるか？
• RQ5 オンライン凸最適化において、すべての可能な経路長に対して競争的な動的レグレットバウンドを達成できるか？

主な発見

• 任意の $ \epsilon > 1/\sqrt{T} $ に対して、期待レグレットは最大で $ 14\epsilon T $、期待損失は最大で $ 2\sqrt{T} e^{-\epsilon^2 T} $ であり、指数的に小さい損失が保証される。
• 損失／レグレットトレードオフは定数要因の意味で最適であり、Even-Dar ら（2007）が提起した未解決問題、すなわち、定数損失と $ O(\sqrt{T \log T}) $ のレグレットが同時に達成可能かどうかを解決する。
• 一般のNエキスパート設定において、最良のエキスパートに対するレグレットは $ O(\sqrt{T(\log N + \log T)}) $、平均エキスパートに対する損失は $ O((NT)^{-\Omega(1)}) $ を達成する。
• このフレームワークにより、任意の長さ $ n = \Omega(\log T) $ のウィンドウ内で累積偏差が $ O(\sqrt{n \log T}) $ に抑えられるマルチスケールの最適なレグレットバウンドが達成可能である。
• オンライン凸最適化において、動的レグレットは $ O(N^{1/3} T^{2/3} (\log(1/Z))^{1/3}) $ を達成する。これは対数要因を除いて最適である。
• また、$ k $-シフト型最適解に対しても、レグレットが $ O(\sqrt{T \log T}) $ にスケーリングされ、既知の下界と一致する。