[論文レビュー] Better Best of Both Worlds Bounds for Bandits with Switching Costs

Idan Amir, Guy Azov+2 more|arXiv (Cornell University)|Jun 7, 2022

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

本稿では、無作為な敵対的設定において最小最大最適なリグレット $ϵ(T^{2/3})$ を達成し、単位スイッチングコストのもとで確率的制約付きリグレット境界を $ϵ(\min\{\log T / \Delta^2, T^{2/3}\})$ に改善する、画期的なベストオブブレス・バンディットアルゴリズムを提示する。この手法は、修正された探索戦略とスイッチングコストの新しい解析を活用し、対数要因を除いて一致する下界を用いてタイトさを証明する。

ABSTRACT

We study best-of-both-worlds algorithms for bandits with switching cost, recently addressed by Rouyer, Seldin and Cesa-Bianchi, 2021. We introduce a surprisingly simple and effective algorithm that simultaneously achieves minimax optimal regret bound of $\mathcal{O}(T^{2/3})$ in the oblivious adversarial setting and a bound of $\mathcal{O}(\min\{\log (T)/Δ^2,T^{2/3}\})$ in the stochastically-constrained regime, both with (unit) switching costs, where $Δ$ is the gap between the arms. In the stochastically constrained case, our bound improves over previous results due to Rouyer et al., that achieved regret of $\mathcal{O}(T^{1/3}/Δ)$. We accompany our results with a lower bound showing that, in general, $ ildeΩ(\min\{1/Δ^2,T^{2/3}\})$ regret is unavoidable in the stochastically-constrained case for algorithms with $\mathcal{O}(T^{2/3})$ worst-case regret.

研究の動機と目的

• スイッチングコストを伴う敵対的および確率的制約付き設定の両方で最適なリグレットを同時に達成するベストオブブレス・バンディットアルゴリズムを設計すること。
• スイッチングコストを伴う確率的制約付き領域における、最良の既知の上界と下界の差を埋めること。
• 確率的制約付きケースにおいて、$\tilde{\Omega}(\min\{1/\Delta^2, T^{2/3}\})$ のスイッチングコストリグレットが避けられないことを示すタイトな下界を確立すること。
• スイッチングコストを伴う確率的制約付き領域において、Rouyerら [14] の $\mathcal{O}(T^{1/3}/\Delta)$ の境界を改善し、$\mathcal{O}(T^{2/3})$ の最悪ケースリグレットを維持すること。
• 一般の $K>2$ の場合におけるよりタイトな境界の可能性を検討し、確率的と確率的制約付き領域における未解決問題を同定すること。

提案手法

• リグレットと行動変更の両方をバランスさせるために、修正された探索戦略とスイッチングコストの注意深い解析を組み合わせた新しいアルゴリズムを導入する。
• スイッチング頻度を制御しながらリグレット保証を維持するため、新しい正則化項を備えたTsallis-INFフレームワークの変種を採用する。
• 敵対的および確率的制約付き領域におけるリグレットを別々に評価するためのデュアル解析フレームワークを用い、後者ではギャップ $\Delta$ を活用する。
• ピーリング論法と集中不等式を適用して、非最適な腕へのスイッチの回数を制御し、確率的制約付きケースで $\mathcal{O}(\log T / \Delta^2)$ 回のスイッチを達成する。
• スイッチングコスト下での $\tilde{\Omega}(\min\{1/\Delta^2, T^{2/3}\})$ のリグレットを強制するように工夫された確率的環境を構築することで、下界を導出する。
• 1回のスイッチあたりのコストを表すパラメータ $\lambda$ を導入し、リグレットとスイッチングコストのトレードオフを分析することで、$\lambda$ を用いた境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 ベストオブブレス・バンディットアルゴリズムは、単位スイッチングコストのもとで、敵対的領域では $\mathcal{O}(T^{2/3})$ のリグレットを達成し、確率的制約付き領域では $\mathcal{O}(\log T / \Delta^2)$ のリグレットを達成できるか？
• RQ2 Rouyerら [14] の $\mathcal{O}(T^{1/3}/\Delta)$ の境界はタイトか、それとも確率的制約付きケースで $\mathcal{O}(\log T / \Delta^2)$ に改善できるか？
• RQ3 スイッチングコストと $\mathcal{O}(T^{2/3})$ の最悪ケースリグレットを持つアルゴリズムにおいて、確率的制約付き設定の最適最小最大リグレットレートは何か？
• RQ4 下界は $K>2$ の場合に一般化可能か、それとも現在の境界は $K=2$ の場合にのみ成立するか？
• RQ5 スイッチングコストを伴う場合、確率的領域と確率的制約付き領域の間で達成可能なリグレットに差があるか？

主な発見

• 提案されたアルゴリズムは、無作為な敵対的設定において $\mathcal{O}(T^{2/3})$ のリグレットを達成し、対数要因を除いて既知の最小最大下界と一致する。
• 確率的制約付き領域では、$\mathcal{O}(\min\{\log T / \Delta^2, T^{2/3}\})$ のリグレットを達成し、Rouyerら [14] の先行研究の $\mathcal{O}(T^{1/3}/\Delta)$ の境界を改善する。
• 下界として $\tilde{\Omega}(\min\{1/\Delta^2, T^{2/3}\})$ が確立され、新しい上界が対数要因を除いてタイトであることが示された。
• 確率的制約付き領域における改善は、スイッチング頻度の洗練された解析から生じており、非最適な腕へのスイッチの回数が $\tilde{\mathcal{O}}(1/\Delta^2)$ であることを示している。
• $K>2$ の場合、上界と下界は完全に一致せず、最適レートは未解決の問題のまま残っている。
• 本稿は、確率的領域と確率的制約付き領域の間に分離がある可能性を強調しており、純粋な確率的ケースではベストオブブレス・アルゴリズムが不可能である可能性を示唆している。