[論文レビュー] Decentralized Cooperative Stochastic Multi-armed Bandits.

David Martı́nez-Rubio, Varun Kanade+1 more|arXiv (Cornell University)|Oct 10, 2018

Advanced Bandit Algorithms Research被引用数 12

ひとこと要約

本稿では、遅延と誤差を伴う平均報酬推定にランニングコセンサスを用いることで、ネットワーク上の協調的確率的マルチアームバンディット問題に対する完全分散型アルゴリズムを提案する。その後、遅延UCBアプローチを適用することで、あらゆるネットワークに対して優れたレギュレートバウンドを達成し、特定のグラフ構造では従来手法よりも顕著に優れた性能を示す。

ABSTRACT

We study a decentralized cooperative stochastic multi-armed bandit problem with $K$ arms on a network of $N$ agents. In our model, the reward distribution of each arm is agent-independent. Each agent chooses iteratively one arm to play and then communicates to her neighbors. The aim is to minimize the total network regret. We design a fully decentralized algorithm that uses a running consensus procedure to compute, with some delay, accurate estimations of the average of rewards obtained by all the agents for each arm, and then uses an upper confidence bound algorithm that accounts for the delay and error of the estimations. We analyze the algorithm and up to a constant our regret bounds are better for all networks than other algorithms designed to solve the same problem. For some graphs, our regret bounds are significantly better.

研究の動機と目的

• エージェントがネットワークを介して報酬を共有する完全分散型協調的確率的マルチアームバンディット問題に対処すること。
• 中央集権的調整なしで、全ネットワークのレギュレートを最小化すること。
• 通信遅延と報酬平均化における推定誤差を考慮した完全分散型アルゴリズムの設計。
• あらゆるネットワークタイプで競争力のあるレギュレートバウンドを達成するとともに、特定のグラフ構造では優れた性能を実現すること。

提案手法

• ネットワーク全体における各アームの平均報酬を、固有の遅延を伴うランニングコセンサス手順で推定する。
• 遅延およびノイズを含む平均報酬の推定値を、探索と活用のバランスを取るための修正版上界信頼区間（UCB）アルゴリズムに適用する。
• 誤差と遅延補償をUCB選択ルールに統合し、性能保証を維持する。
• すべての計算と意思決定を局所的に行い、エージェントは直接の隣人とのみ通信する。
• 中央集権的調整やネットワークのグローバルな知識を一切必要としない完全分散型アルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 分散ネットワーク内のエージェントは、確率的マルチアームバンディット設定において、どのようにして全レギュレートを協調的に最小化できるか？
• RQ2 通信遅延と推定誤差は、分散型協調バンディットにおけるレギュレートにどのような影響を与えるか？
• RQ3 コセンサスに基づく平均化手法は、UCBと効果的に組み合わせられ、分散環境でも低レギュレートを維持できるか？
• RQ4 レギュレートバウンドはネットワークトポロジーにどのように依存するか？ また、既存の分散アルゴリズムよりも改善可能か？

主な発見

• 提案手法は、あらゆるネットワークタイプにおいて、既存の分散アルゴリズムよりも定数倍の差で優れたレギュレートバウンドを達成する。
• 特定のグラフ構造では、従来手法のそれよりも顕著に優れたレギュレートバウンドを達成する。
• 修正版UCBアプローチにより、遅延およびノイズを含む平均報酬推定を効果的に処理する。
• 中央集権的調整やネットワークのグローバルな知識を必要とせず、強固な理論的性能保証を維持する。