[論文レビュー] Coordination without communication: optimal regret in two players multi-armed bandits

Sébastien Bubeck, Thomas Budzinski|arXiv (Cornell University)|Feb 14, 2020

Experimental Behavioral Economics Studies被引用数 14

ひとこと要約

本稿は、通信のない2人による確率的マルチアームバンディット設定において、衝突を高確率で回避する新しい協調戦略を提示している。この戦略は、$O(\sqrt{T\log T})$のレグレットを達成するが、衝突に基づく暗黙の通信に依存しない。共有ランダムネスと適応的行動選択を用いることで干渉を回避し、従来の手法とは顕著に異なる。

ABSTRACT

We consider two agents playing simultaneously the same stochastic three-armed bandit problem. The two agents are cooperating but they cannot communicate. We propose a strategy with no collisions at all between the players (with very high probability), and with near-optimal regret $O(\\sqrt{T \\log(T)})$. We also argue that the extra logarithmic term $\\sqrt{\\log(T)}$ should be necessary by proving a lower bound for a full information variant of the problem.

研究の動機と目的

• 通信のない2人のエージェントが協調的に動作し、レグレットを最小限に抑える協調的マルチプレイヤーバンディット戦略を設計すること。
• 高確率で完全に衝突を排除しつつ、近似的に最適なレグレットを維持すること。
• 従来の手法が依存する衝突に基づく暗黙の通信に依存しないようにすること。これは、認知的ラジオなどの応用分野において実用性を制限する要因である。
• 衝突を避ける制約下で、$O(\sqrt{T\log T})$のタイトなレグレットバウンドを確立すること。
• 完全情報バージョンにおいて下界を示し、レグレットに含まれる$\sqrt{\log T}$要因が必要不可欠であることを証明すること。

提案手法

• 戦略は、行動選択の同期化に共有ランダムネスを用い、アリスとボブが高確率で同時に同じアームを選ばないことを保証する。
• アリスは対数的数のラウンド後に、統計的信頼区間に基づいて自身の最良行動に固定する。
• ボブは観測された損失パターンと信頼区間を基に、アームを除外する動的行動集合を用いる。
• フェーズベースの構造により、ボブが再起動した場合、アリスはすでに固定済みであることが保証され、衝突が生じない。
• 集中不等式（例：チェルノフの不等式）を用いて、行動が劣化しているか、衝突が起こりにくい状況を検出する。
• 重要な要素として、性能に関する信頼性に基づき、アームを除外するためのしきい値$\sqrt{\log T / T}$を用いる。

実験結果

リサーチクエスチョン

• RQ1 通信も衝突も行わない2人のプレイヤーが、マルチアームバンディット問題で近似的に最適なレグレットを達成できるか？
• RQ2 衝突なし戦略において、レグレットバウンドに含まれる$\sqrt{\log T}$要因は必須か？
• RQ3 衝突に基づく暗黙の通信に依存せずに、$O(\sqrt{T\log T})$のレグレットを達成できる戦略は存在するか？
• RQ4 高確率で衝突が禁止される条件下で、得られる最小のレグレットは何か？
• RQ5 共有ランダムネスなしで、決定的戦略が$O(\sqrt{T\log T})$のレグレットを達成できるか？

主な発見

• 共有ランダムネスを用いた提示された確率的戦略は、高確率で$\mathbb{E}[R_T] \leq 2^{20} \sqrt{T\log T}$のレグレットを達成する。
• 確率が$1 - 1/T$以上である限り、2人のプレイヤーは全期間$T$にわたり一度も衝突しない。
• この戦略は、大多数の従来手法が依存する衝突に基づく信号伝送の必要性を排除する。
• 決定的バージョンの戦略が構築され、$O(\sqrt{T\log T})$のレグレットを達成しているが、定数因子がより大きい。
• 完全情報バージョンにおいて下界が確立され、衝突なし戦略において$\sqrt{\log T}$要因が必須であることが示された。
• この方法により、ボブが戦略を再起動した場合、アリスはすでに固定済みであることが保証され、いかなる衝突も発生しない。