[論文レビュー] Phase Transitions in Bandits with Switching Constraints

David Simchi‐Levi, Yunzong Xu|arXiv (Cornell University)|May 26, 2019

Advanced Bandit Algorithms Research参考文献 15被引用数 4

ひとこと要約

本稿は、合計スイッチングコストに硬い制約を課す確率的マルチアームバンディットを研究し、Bandits with Switching Constraints (BwSC) フレームワークを導入する。最小最大のリグレットについて、一致する上界と下界を確立し、スイッチング予算とグラフ構造に依存する非従来のリグレット成長と、新たな段階的転移を明らかにする。正確な依存関係は、敵対的TSPに基づくインデックスによって導出される。

ABSTRACT

We consider the classical stochastic multi-armed bandit problem with a constraint that limits the total cost incurred by switching between actions to be no larger than a given switching budget. For this problem, we prove matching upper and lower bounds on the optimal (i.e., minimax) regret, and provide efficient rate-optimal algorithms. Surprisingly, the optimal regret of this problem exhibits a non-conventional growth rate in terms of the time horizon and the number of arms. Consequently, we discover surprising "phase transitions" regarding how the optimal regret rate changes with respect to the switching budget: when the number of arms is fixed, there are equal-length phases, where the optimal regret rate remains (almost) the same within each phase and exhibits abrupt changes between phases; when the number of arms grows with the time horizon, such abrupt changes become subtler and may disappear, but a generalized notion of phase transitions involving certain new measurements still exists. The results enable us to fully characterize the trade-off between the regret rate and the incurred switching cost in the stochastic multi-armed bandit problem, contributing new insights to this fundamental problem. Under the general switching cost structure, the results reveal interesting connections between bandit problems and graph traversal problems, such as the shortest Hamiltonian path problem.

研究の動機と目的

• スイッチングコストの目的関数へのペナルティではなく、合計スイッチングコストに硬い制約を課す状況における確率的マルチアームバンディット問題のモデル化と分析。
• 特にスイッチングコストが非一様かつ非パラメトリックな場合に、オンライン学習におけるリグレットとスイッチングコストの根本的トレードオフの特定。
• スイッチング予算とアーム数の関数として、最適リグレットレートにおける段階的転移の同定と分析。
• 固定および増加するアーム数を含む一般のスイッチングコストグラフに対するタイトなリグレットバウンドの確立。
• バンディット問題とグラフ巡回問題（特に敵対的TSP）との間の関係を、新しい構造的インデックスを通じて明らかにすること。

提案手法

• 合計スイッチングコストをペナルティではなく硬い制約として扱う Bandits with Switching Constraints (BwSC) フレームワークを提案。
• スイッチンググラフ $ G $ 上の敵対的巡回セールスマン問題（TSP）の動的計画法による定式化から導かれる、重要な構造的インデックス $ q(S,G) $ を導入。
• 不確実性下での最悪ケースのスイッチングシーケンスをモデル化するため、敵対的TSPを用い、各訪問後に目的地集合から頂点が削除される状況を想定。
• 最適リグレットレートを $ \widetilde{\Theta}(T^{1/(2 - 2^{-q(S,G)})}) $ として導出。指数は $ q(S,G) $ に依存し、これは最悪ケースの敵対的削除ルール下での全アームの訪問の複雑さを捉える。
• 固定 $ K $ に対するリグレットの一致する上界と下界を確立し、新たなインデックスに基づく特徴付けによってタイトネスを示す。
• スイッチング予算 $ S $ の増加に伴うリグレットレートの段階的転移の挙動を分析。固定 $ K $ の場合、急激な変化を示すが、$ K $ が $ T $ と共に増加する場合には滑らかになる傾向を示す。

実験結果

リサーチクエスチョン

• RQ1 スイッチングがペナルティではなく制約である場合、最適リグレットレートは時間の長さ $ T $ とスイッチング予算 $ S $ に対してどのようにスケーリングするか？
• RQ2 スイッチングコストグラフ $ G $ のどの構造的性質が、BwSCフレームワークにおけるリグレットレートを決定するか？
• RQ3 スイッチング予算 $ S $ の関数として、リグレットレートにどのように段階的転移が現れるか？また、アーム数 $ K $ に依存するか？
• RQ4 最適リグレットは $ T $ に対して正確にどのように依存するか？特に、グラフ構造 $ G $ に依存する挙動は、固定 $ K $ の場合にどうなるか？
• RQ5 BwSC問題と、ハミルトニアンパスや敵対的TSPなどのグラフ巡回問題との間にどのような関係があるか？

主な発見

• BwSCの最適リグレットは $ \widetilde{\Theta}(T^{1/(2 - 2^{-q(S,G)})}) $ であり、$ q(S,G) $ はスイッチンググラフ $ G $ 上の敵対的TSP定式化から導かれる構造的インデックスである。
• 固定 $ K $ の場合、リグレットレートは長さがほぼ等しい、明確に分かれた段階を示し、$ S $ の増加に伴い急激に変化する。
• $ K $ が $ T $ と共に増加する場合、段階的転移はより繊細になり、消失する可能性があるが、依然としてインデックス $ q(S,G) $ を通じて一般化された段階的転移が存在する。
• 敵対的TSP定式化は、全アームを訪問するために必要な最悪ケースのスイッチングコストのタイトな下界を提供し、その解が臨界インデックス $ q(S,G) $ の定義に用いられる。
• 本稿は、従来の研究からの上界および下界が一般の $ G $ に対して $ T $ に関してタイトでないことを示し、定理8を用いて新たな正確な特徴付けを提供する。
• インデックス $ q(S,G) $ は、他の代替インデックスと常に等しいわけではないため、スイッチング複雑性を捉える上で独自で、非自明な構造を有することが示される。