[論文レビュー] Adapting to Delays and Data in Adversarial Multi-Armed Bandits

András György, Pooria Joulani|arXiv (Cornell University)|Oct 12, 2020

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

本稿では、遅延フィードバックを伴う敵対的マルチアームバンディット問題に対する、DAda-Exp3 および DeDa-Exp3 という新たな適応的アルゴリズムを提案する。ステップサイズをリアルタイムの情報のみで調整することにより、DAda-Exp3 は期待値および高確率の両方で、最適なレジストスケーリング O(√(log K)(KT + D)) を達成する。一方、DeDa-Exp3 は実際に観測された損失にさらに適応し、良性の問題ではレジストを桁違いに低減する。主な革新点は、遅延や損失の事前知識が不要な状況でも、完全な遅延およびデータ適応性を実現できる単純な証明技法にあり。

ABSTRACT

We consider the adversarial multi-armed bandit problem under delayed feedback. We analyze variants of the Exp3 algorithm that tune their step-size using only information (about the losses and delays) available at the time of the decisions, and obtain regret guarantees that adapt to the observed (rather than the worst-case) sequences of delays and/or losses. First, through a remarkably simple proof technique, we show that with proper tuning of the step size, the algorithm achieves an optimal (up to logarithmic factors) regret of order $\sqrt{\log(K)(TK + D)}$ both in expectation and in high probability, where $K$ is the number of arms, $T$ is the time horizon, and $D$ is the cumulative delay. The high-probability version of the bound, which is the first high-probability delay-adaptive bound in the literature, crucially depends on the use of implicit exploration in estimating the losses. Then, following Zimmert and Seldin [2019], we extend these results so that the algorithm can "skip" rounds with large delays, resulting in regret bounds of order $\sqrt{TK\log(K)} + |R| + \sqrt{D_{\bar{R}}\log(K)}$, where $R$ is an arbitrary set of rounds (which are skipped) and $D_{\bar{R}}$ is the cumulative delay of the feedback for other rounds. Finally, we present another, data-adaptive (AdaGrad-style) version of the algorithm for which the regret adapts to the observed (delayed) losses instead of only adapting to the cumulative delay (this algorithm requires an a priori upper bound on the maximum delay, or the advance knowledge of the delay for each decision when it is made). The resulting bound can be orders of magnitude smaller on benign problems, and it can be shown that the delay only affects the regret through the loss of the best arm.

研究の動機と目的

• 遅延や損失分布の事前知識が一切不要な、完全な遅延適応型バンディットアルゴリズムの開発。
• 最悪ケースではなく観測された遅延および損失の系列に適応するレジストバウンドの導出により、従来のミニマックスバウンドを改善すること。
• 暗黙の探索（implicit exploration）を用いた完全な遅延適応型バンディットアルゴリズムに対して、初めての高確率レジストバウンドを提供すること。
• 実際の損失の大きさに応じてステップサイズを適応させる変種を設計し、最悪ケースの境界ではなく実際の損失の大きさに比例してレジストがスケーリングされることで、簡単な問題インスタンスにおける性能向上を実現すること。
• 極端に遅延が大きいラウンドをスキップ可能にすることで、大きな個々の遅延に依存するレジストを低減すること。

提案手法

• DAda-Exp3 を提案。これは Exp3 の遅延適応型変種であり、リアルタイムのフィードバックと遅延情報のみを用いてステップサイズを調整し、オラクルチューニングを回避する。
• 損失推定に暗黙の探索（Neu, 2015b）を採用することで、遅延の事前知識がなくても高確率レジストバウンドを達成する。
• Zimmert と Seldin (2019) のアイデアにインspiredされたスキップ機構を導入し、大きな遅延を伴うラウンドをスキップ可能にすることで、累積遅延 D に依存するレジストを低減する。
• DeDa-Exp3 を開発。これはデータおよび遅延に適応するアルゴリズムであり、累積観測損失に依存する AdaGrad スタイルのステップサイズを採用することで、良性の問題におけるレジストを改善する。
• FTRL と重要度加重損失推定に基づく新しい証明技法を用い、遅延フィードバックおよびドリフトを含むレジスト項をバウンドする。
• ジェンセンの不等式と損失分解を適用し、期待レジストを最適な腕の損失と観測損失の合計の関数としてバウンドする。

実験結果

リサーチクエスチョン

• RQ1 遅延の事前知識がなくても、累積遅延 D に最適なスケーリングでレジストを達成できるバンディットアルゴリズムは存在するか？
• RQ2 オラクルチューニングや遅延の事前知識がなくても、遅延バンディット設定で高確率レジストバウンドを達成できるか？
• RQ3 遅延に加えて、実際に観測された損失の大きさにも適応できるレジストは、簡単な問題インスタンスで性能を向上させられるか？
• RQ4 大きな遅延を伴うラウンドをスキップすることで、累積遅延に基づくバウンドと比較して、レジストを顕著に低減できるか？
• RQ5 最小限の仮定で、遅延付き Exp3 の変種に対してタイトなレジストバウンドを導出できる単純な証明技法は存在するか？

主な発見

• DAda-Exp3 はリアルタイム情報のみを用いて、期待レジストが O(√(log K)(KT + D)) に収束し、対数要因を除いて最適レートを達成する。
• 暗黙の探索を用いることで、DAda-Exp3 は完全な遅延適応型バンディットアルゴリズムにおいて、文献で初めての高確率レジストバウンドを達成する。
• スキップ機構により、期待値および高確率の両方で、レジストが O(√(KT log K) + |R| + √(D̄R log K)) に低減する。ここで R はスキップされたラウンドの集合、D̄R は残りのラウンドの遅延フィードバックを表す。
• DeDa-Exp3 は最悪ケースの境界ではなく、実際の最適腕の損失に比例してレジストがスケーリングされるため、良性の問題では、最悪ケースの境界に比べて桁違いに小さなレジストが得られる可能性がある。
• DeDa-Exp3 のレジストは最適腕の損失 LT,A∗ と、すべての腕の損失の合計に依存しており、遅延がレジストに影響するのは最適腕の損失のみであることが示される。
• 解析により、遅延がレジストに与える影響は、最適腕の損失にのみ比例することが判明し、全損失合計に比例しない。このため、有利なインスタンスでは顕著な性能向上が可能となる。