[論文レビュー] Decentralized Cooperative Stochastic Bandits

David Martı́nez-Rubio, Varun Kanade+1 more|arXiv (Cornell University)|Oct 10, 2018

Age of Information Optimization被引用数 54

ひとこと要約

完全に分散化されたアルゴリズム（DDUCB）を提案。協調的な確率的多腕バンディットをネットワーク上で実現する。加速的グ Gossipを用いて全体報酬を推定し、遅延と推定誤差を考慮したUCB戦略を適用。スペクトルギャップに依存する後悔境界を提供。

ABSTRACT

We study a decentralized cooperative stochastic multi-armed bandit problem with $K$ arms on a network of $N$ agents. In our model, the reward distribution of each arm is the same for each agent and rewards are drawn independently across agents and time steps. In each round, each agent chooses an arm to play and subsequently sends a message to her neighbors. The goal is to minimize the overall regret of the entire network. We design a fully decentralized algorithm that uses an accelerated consensus procedure to compute (delayed) estimates of the average of rewards obtained by all the agents for each arm, and then uses an upper confidence bound (UCB) algorithm that accounts for the delay and error of the estimates. We analyze the regret of our algorithm and also provide a lower bound. The regret is bounded by the optimal centralized regret plus a natural and simple term depending on the spectral gap of the communication matrix. Our algorithm is simpler to analyze than those proposed in prior work and it achieves better regret bounds, while requiring less information about the underlying network. It also performs better empirically.

研究の動機と目的

• ネットワーク上のN人のエージェントが同期してK本の腕を引く確率的多腕バンディット問題を研究する。
• 全体の腕報酬統計を推定するために加速的グ Gossip を用いた完全分散アルゴリズムを開発する。
• 遅延・ノイズのある推定をUCB枠組みに組み込み、後悔を分析する。
• 下界を提供し、集中型および非通信ベースラインと漸近的に比較する。
• 最小限のネットワーク情報要件で後悔境界と実用的な性能の改善を示す。

提案手法

• 問題を、共有腕分布を持つ無向連結グラフ上のN人のエージェントとしてモデル化する。
• ネットワーク全体で腕kの総報酬m_t^kと総引き期n_t^kを、加速的Chebyshevベースの混合（多項式 q_C(P)）を用いて推定する。
• 遅延/近似統計量に適応したUCBを採用する：腕を選ぶ際に最大化するのは alpha_i^k/a_i^k + sqrt( (2 eta sigma^2 ln s) / (N a_i^k) )。
• 推定を混合させるC回の通信ステップのステージで運用し、次に段階的に腕を引く（gammaおよびbeta/beta混合）。
• スペクトルギャップ |λ_2| を持つ通信行列Pとノード数Nに依存する項を含む有限時間後悔境界R(T)を提供し、漸近的境界と下界比較を証明する。
• サブガウシアン報酬を仮定し分散代理 sigma^2 を用い、Nとスペクトルギャップの上界を知ることを前提とする。lambda_2（またはその上界）を混合パラメータCを設定するために必要とする。

実験結果

リサーチクエスチョン

• RQ1 グローバルな情報をローカルな通信経由で共有する場合、グ Gossip を介した分散化が確率的MABの後悔にどう影響するか。
• RQ2 加速的なグ Gossip ベースの推定器は、グラフのスペクトル特性に依存する定量的な関係を持つ中央集権的UCBに近い後悔を実現できるか。
• RQ3 提案されたDDUCBアルゴリズムの有限時間および漸近的後悔境界をK, N, T, sigma, lambda_2の観点で示す。
• RQ4 情報要件と一般グラフ上での性能の観点から、先行のcoop-UCB系と比較してアルゴリズムはどうか。

主な発見

• 提案手法DDUCBは、後悔が最適な集中管理型の後悔と、スペクトルギャップとエージェント数に依存する項の和で表される。
• 有限時間後悔境界: R(T) < sum_{k: Delta_k>0} (32(1+1/11) sigma^2 ln(TN))/Delta_k + (N(6C+1)+4) sum_k Delta_k, ただしCはlambda_2に依存。
• 漸近的には、 R(T) ≲ sum_{k: Delta_k>0} (sigma^2 ln(TN))/Delta_k + (N ln N)/sqrt(ln(1/|lambda_2|)) sum_k Delta_k。
• 下界は、任意の一貫性のある方針が少なくとも Omega( sum_{k: Delta_k>0} (sigma^2 ln(TN))/Delta_k + (N/K + 1) sum_k Delta_k ) を持つことを示し、DDUCBの境界はKとNに依存する要因により漸近的に最適。
• DDUCBはグラフ全体の仮定を少なく用い、通信を加速させることで、スペクトルギャップに対する後悔の依存を従来の研究（例：coop-UCB系）より改善した。
• 経験的には、方法は従来の分散型アプローチより良い性能を示し、解析もより簡単である。