[論文レビュー] Cooperative Multi-Agent Bandits with Heavy Tails

Abhimanyu Dubey, Alex Pentland|arXiv (Cornell University)|Aug 14, 2020

Advanced Bandit Algorithms Research参考文献 48被引用数 5

ひとこと要約

本稿では、重い尾を持つ報酬分布を扱うために、トリムド平均を用いた頑健な推定とメッセージパッシングプロトコルを組み合わせた分散型のマルチエージェントバンディットアルゴリズムMP-UCBを提案する。$ (1+\varepsilon) $-重尾報酬の下で、$ O(\mathrm{poly}(\mathrm{polylog}(T))) $ の最適な問題依存レグレットバウンドを達成し、従来のコンSENSUSベースの手法がこのような分布では失敗するのに対し、優れた性能を発揮する。

ABSTRACT

We study the heavy-tailed stochastic bandit problem in the cooperative multi-agent setting, where a group of agents interact with a common bandit problem, while communicating on a network with delays. Existing algorithms for the stochastic bandit in this setting utilize confidence intervals arising from an averaging-based communication protocol known as~ extit{running consensus}, that does not lend itself to robust estimation for heavy-tailed settings. We propose extsc{MP-UCB}, a decentralized multi-agent algorithm for the cooperative stochastic bandit that incorporates robust estimation with a message-passing protocol. We prove optimal regret bounds for extsc{MP-UCB} for several problem settings, and also demonstrate its superiority to existing methods. Furthermore, we establish the first lower bounds for the cooperative bandit problem, in addition to providing efficient algorithms for robust bandit estimation of location.

研究の動機と目的

• 重い尾を持つ報酬分布の下で、協調的マルチエージェントバンディットに適した頑健なアルゴリズムの欠如に取り組むこと。
• 分散型アルゴリズムを設計し、報酬分布の分散が無限大または重い尾を持つ場合でも、低いレグレットを維持すること。
• 重い尾を持つ設定下での協調的マルチエージェントバンディットに対して、初めての問題依存下界を確立すること。
• 既存のコンセンサスベースの手法が $ 2 $-重尾の下で $ O(T^{2/3}) $ の劣化したレグレットを示すことを実証すること。
• $ |V| $-最適性を達成するレグレットスケーリングを実現すること。これは、従来の $ O(\log|V|) $ 依存性を改善する。

提案手法

• MP-UCBは、通信遅延を伴うネットワーク上でエージェント間で局所的報酬推定値を交換するメッセージパッシングプロトコルを用いる。
• 重い尾を持つ報酬分布に対処するために、経験的平均推定を頑健なトリムド平均推定に置き換える。
• アルゴリズムは、$ (1+\varepsilon) $-重尾仮定の下で得られる頑健な推定に基づく、UCBスタイルの信頼区間を採用し、$ v^{1/(1+\varepsilon)} \left( \frac{2c\ln t}{N_k^{m^*}(t)} \right)^{\varepsilon/(1+\varepsilon)} $ の形をとる。
• 各エージェントは、観測された報酬の局所的集合 $ S_k^m $ を維持し、隣接エージェントの情報を用いて、隣接エージェント推定値の最大集合化により最良のアームを推定する。
• 古くなったメッセージを削除するプリーニング機構を導入し、通信効率を維持するとともに、情報の肥大化を防ぐ。
• アルゴリズムは、アクション選択において、最新で信頼性の高い推定値のみを用いるように保証し、外れ値への感受性を低減する。

実験結果

リサーチクエスチョン

• RQ1 協調的マルチエージェントバンディットが重い尾を持つ報酬分布の下で受けるグループレグレットの根本的限界（下界）は何か？
• RQ2 分散型アルゴリズムは、$ (1+\varepsilon) $-重尾報酬の下で、分散が無限大であっても最適なレグレットスケーリングを達成できるか？
• RQ3 コンセンサスベースの平均化手法の性能は、重い尾を持つ分布の下で、頑健な推定と比べてどのように劣化するか？
• RQ4 メッセージパッシングプロトコルは、重い尾を持つ報酬分布に対して頑健でありながら、低いレグレットを維持できるように設計可能か？
• RQ5 重い尾の設定下で、協調バンディットにおいて $ |V| $-最適性のレグレットスケーリングは達成可能か？

主な発見

• 本稿では、$ (1+\varepsilon) $-重尾報酬の下で、協調的マルチエージェントバンディットに対する最初の問題依存下界 $ \Omega(K\Delta^{-1/\varepsilon}\ln T) $ を確立した。
• MP-UCBは、$ O\left( \alpha(\mathcal{G}_\gamma) v^{1/\varepsilon} \ln T \sum_{k:\Delta_k>0} \Delta_k^{-1/\varepsilon} \right) $ のグループレグレットバウンドを達成し、導出された下界と対数要因を除いて一致する。
• コンセンサスベースの手法とは異なり、MP-UCBは経験的平均の代わりに頑健な推定を用いることで、$ 2 $-重尾の下で $ O(T^{2/3}) $ のレグレットを回避する。
• アルゴリズムは、$ |V| $-最適性のレグレットスケーリングを達成し、従来の $ O(\log|V|) $ 依存性を改善する。
• レグレットバウンドは $ v^{1/\varepsilon} $ に依存し、これは尾の重さを捉えており、$ \varepsilon \to 0 $ のとき滑らかに劣化する。これは、部分ガウス分布の極限と整合的である。
• 実験結果は、MP-UCBが重い尾の環境下で、既存のコンセンサスベースのアルゴリズムを上回ることを示している。