[論文レビュー] Non-stationary Bandits with Knapsacks

Shang Liu, Jiashuo Jiang+1 more|arXiv (Cornell University)|May 25, 2022

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本稿は、報酬およびリソースの分布が時間とともに変化する非定常的Bandits with knapsacks (BwK)フレームワークを導入し、非定常性を捉えるために新たなグローバル変動予算測度を提案する。スライディングウィンドウUCBアルゴリズムを用いて近似的最適なレグレットバウンドを確立し、制約付きオンライン凸最適化（OCOwC）への拡張も行い、従来の変動予算が制約干渉のため不十分であることを示している。

ABSTRACT

In this paper, we study the problem of bandits with knapsacks (BwK) in a non-stationary environment. The BwK problem generalizes the multi-arm bandit (MAB) problem to model the resource consumption associated with playing each arm. At each time, the decision maker/player chooses to play an arm, and s/he will receive a reward and consume certain amount of resource from each of the multiple resource types. The objective is to maximize the cumulative reward over a finite horizon subject to some knapsack constraints on the resources. Existing works study the BwK problem under either a stochastic or adversarial environment. Our paper considers a non-stationary environment which continuously interpolates between these two extremes. We first show that the traditional notion of variation budget is insufficient to characterize the non-stationarity of the BwK problem for a sublinear regret due to the presence of the constraints, and then we propose a new notion of global non-stationarity measure. We employ both non-stationarity measures to derive upper and lower bounds for the problem. Our results are based on a primal-dual analysis of the underlying linear programs and highlight the interplay between the constraints and the non-stationarity. Finally, we also extend the non-stationarity measure to the problem of online convex optimization with constraints and obtain new regret bounds accordingly.

研究の動機と目的

• 非定常環境下におけるBandits with knapsacks（BwK）の研究ギャップを埋める。特に、確率的と敵対的設定の中間的状況を想定する。
• 制約付きBwK設定において、従来の非定常性測度（変動予算や変化点）の限界を特定する。
• カニバスト制約を考慮に入れながら非定常性を捉える新しいグローバル変動予算測度を提案する。
• 元の線形計画問題のプリマルドゥアル解析を用いて、タイトな上界および下界のレグレットバウンドを導出する。
• 新しい非定常性測度をオンライン凸最適化 with 制約（OCOwC）に拡張し、新たなレグレットバウンドを導出する。

提案手法

• BwKにおける時間変動する報酬およびリソース分布を定量化するため、新たな非定常性測度「グローバル変動予算」を提案する。
• 制約に配慮した探索を可能にするスライディングウィンドウに基づくUCBアルゴリズムをBwKに適用し、非定常環境に対応する。
• 元の線形計画問題のプリマルドゥアル解析を用いてレグレットバウンドを導出し、制約構造と非定常性の関係を明確にする。
• 時間変動する最適方策を反映するため、敵対的BwKで用いられる静的ベンチマークよりも強い動的ベンチマークを導入する。
• 凸目的関数および制約に適応した解析を用いて、グローバル変動予算をOCOwCに拡張する。
• 確率的スレイター条件と条件付き期待値の因数分解を活用し、双対変数を有界に保ち、確率的拡張でO(√T)のレグレットを達成する。

実験結果

リサーチクエスチョン

• RQ1 複数のリソース制約を有するBwK問題において、従来の非定常性測度（変動予算など）がなぜ不十分なのか？
• RQ2 制約と時間変動する分布の相互作用を捉える新しい非定常性測度を定義可能か？
• RQ3 非定常的BwKで達成可能な最適なレグレットは何か？ そして、実用的なアルゴリズムでそれを達成可能か？
• RQ4 制約の存在が、非定常環境下でのバンディットアルゴリズムの設計および解析にどのように影響を与えるか？
• RQ5 新しい非定常性測度は、より広範な設定（例：制約付きオンライン凸最適化）に一般化可能か？

主な発見

• カニバスト制約が意思決定の妥当性に与える影響のため、従来の変動予算ではBwK問題でサブ線形レグレットを達成できない。
• 提案されたグローバル変動予算により、スライディングウィンドウUCBに基づくBwKアルゴリズムに対して近似的最適なO(√T)のレグレットバウンドを導出可能である。
• 下界解析により、導出されたレグレットバウンドが対数因子を除きタイトであることが確認され、非定常的BwK設定における最適性が裏付けられる。
• 新しい非定常性測度は、オンライン凸最適化 with 制約（OCOwC）へ自然に拡張可能であり、同様の条件下でO(√T)のレグレットバウンドをもたらす。
• OCOwCの確率的拡張において、バーチャルキュー法はO(√T)のレグレットとO(d√T)の制約違反を達成可能であり、確率的スレイター条件のもとで成立する。
• 解析により、双対変数とレグレットを有界に保つ鍵は、未来の関数が過去の情報に関して条件付き独立であることであり、期待値の因数分解が可能になる。