[論文レビュー] Unifying the stochastic and the adversarial Bandits with Knapsack

Anshuka Rangi, Massimo Franceschetti+1 more|arXiv (Cornell University)|Oct 23, 2018

Advanced Bandit Algorithms Research参考文献 15被引用数 3

ひとこと要約

本稿では、報酬がコストを上回ることを仮定しない制限のない条件下で、順序的に最適なリグレットを達成する、敵対的Bandits with Knapsack（BwK）問題のための新しいアルゴリズムであるEXP3.BwKとEXP3++.BwKを提案する。これらのアルゴリズムは、確率的および敵対的設定の両方において性能を統合し、敵対的設定では$O(\sqrt{KB})$のリグレット、確率的設定では$O(\log B)$のリグレットを達成する。EXP3++.BwKでは、後者において追加の$\log B$要因が生じる。

ABSTRACT

This paper investigates the adversarial Bandits with Knapsack (BwK) online learning problem, where a player repeatedly chooses to perform an action, pays the corresponding cost, and receives a reward associated with the action. The player is constrained by the maximum budget $B$ that can be spent to perform actions, and the rewards and the costs of the actions are assigned by an adversary. This problem has only been studied in the restricted setting where the reward of an action is greater than the cost of the action, while we provide a solution in the general setting. Namely, we propose EXP3.BwK, a novel algorithm that achieves order optimal regret. We also propose EXP3++.BwK, which is order optimal in the adversarial BwK setup, and incurs an almost optimal expected regret with an additional factor of $\log(B)$ in the stochastic BwK setup. Finally, we investigate the case of having large costs for the actions (i.e., they are comparable to the budget size $B$), and show that for the adversarial setting, achievable regret bounds can be significantly worse, compared to the case of having costs bounded by a constant, which is a common assumption within the BwK literature.

研究の動機と目的

• 確率的および敵対的Bandits with Knapsack（BwK）設定の両方で良好に動作するアルゴリズムの不足を解消すること。
• 先行研究で課されていた、敵対的BwKにおいて報酬がコストを上回ることを仮定する制限のない仮定を排除すること。
• 確率的および敵対的BwKの両方で順序的に最適なリグレットを達成する統一されたアルゴリズムフレームワークを提供すること。
• 大きな行動コスト（予算Bと同等）が敵対的BwKにおけるリグレット境界に与える影響を分析すること。
• 物理的または次元の可比性の仮定なしに一般な報酬-コスト設定でも成り立つ理論的リグレット保証を確立すること。

提案手法

• 予算制約下での探索と活用のバランスを図るため、時間に依存する学習率$\gamma_t = 0.5\sqrt{c_{\text{min}}^2 \log K / Kt}$を用いることで、EXP3アルゴリズムをBwK設定に拡張し、EXP3.BwKを導入する。
• 確率的設定でのリグレット境界を改善するために、より積極的な探索スケジュールを組み込んだ改良版として、EXP3++.BwKを導入する。
• 損失および報酬推定の推定誤差を制御するため、$\epsilon_t(i) \leq 0.5c_{\text{min}}\sqrt{=\log K / tK}$を用いた信頼区間ベースの探索戦略を採用する。
• 集中不等式および martingale 論法を用いて、推定誤差、探索、学習率の項に分解することで期待リグレットを上界で評価する。
• ナップサック制約の構造を活用するため、予算が尽きるまでの停止時刻$\tau(E)$を定義し、$T = \max\{T(i^*), \tau(E)\}$までのリグレットを分析する。
• Chernoff型の不等式と和の不等式を組み合わせてリグレット境界を導出する。特に、$\sum_t \exp(-\gamma_t \tilde{\Delta}_t(i))$のような項を積分および漸近的解析により上界で評価する。

実験結果

リサーチクエスチョン

• RQ1 報酬がコストを上回ることを仮定しない条件下で、1つのアルゴリズムが確率的および敵対的BwKの両方で順序的に最適なリグレットを達成できるか？
• RQ2 大きな行動コスト（予算Bと同等）が敵対的BwKにおける達成可能なリグレットに与える影響は何か？
• RQ3 EXP3フレームワークは、ナップサック制約を扱いながらも、最適なリグレット保証を維持できるようにどのように適合できるか？
• RQ4 確率的BwK設定におけるリグレットを$O(\log B)$に改善できるか、同時に敵対的設定では$O(\sqrt{KB})$のリグレットを保ち続けられるか？
• RQ5 コストが定数で有界でないが、予算Bに比例して増大する場合、リグレットの理論的限界は何か？

主な発見

• EXP3.BwKは、報酬-コスト仮定を必要とせず、敵対的BwK設定で$O(\sqrt{KB})$の期待リグレットを達成する。これは順序的に最適である。
• EXP3++.BwKは、確率的BwK設定で$O(\log B)$の期待リグレットを達成するが、追加の$\log B$要因が生じるため、ほぼ最適である。
• EXP3.BwKのリグレット境界は$O\left(\sqrt{BK\log K / c_{\text{min}}^3}\right)$であり、最小コスト$c_{\text{min}}$に依存することが示された。
• コストが大きい（予算Bと同等）場合、敵対的BwK設定における達成可能なリグレット境界は、有界コストのケースと比べて著しく悪化する。
• 分析から、先行研究で一般的に使われているコストの有界性仮定が極めて重要であることが示された。この仮定がなければ、リグレット保証は著しく劣化する。
• 集中不等式と指数関数項の和を用いた理論的境界が導出された。特に、Lemma 10と$\sum_t \exp(-\gamma_t \tilde{\Delta}_t(i))$の上界が重要な役割を果たした。