[論文レビュー] Delay and Cooperation in Nonstochastic Bandits

Nicolò Cesa‐Bianchi, Claudio Gentile+2 more|arXiv (Cornell University)|Feb 15, 2016

Advanced Bandit Algorithms Research参考文献 36被引用数 60

ひとこと要約

この論文は、ネットワーク化された通信グラフからの遅延フィードバックを活用することで、レジーットを低減する協調的マルチエージェントバンディットアルゴリズムExp3-Coopを提案する。遅延半径$d$内のエージェントからの情報を活用することで、レジーットバウンドが$\sqrt{(d+1+\frac{K}{N}\alpha_{\leq d})(T\ln K)}$ に抑えられ、非協力的バンディットよりも優れており、グラフが稠密な場合には完全情報のミニマックスレジーットに近づく。

ABSTRACT

We study networks of communicating learning agents that cooperate to solve a common nonstochastic bandit problem. Agents use an underlying communication network to get messages about actions selected by other agents, and drop messages that took more than $d$ hops to arrive, where $d$ is a delay parameter. We introduce extsc{Exp3-Coop}, a cooperative version of the {\sc Exp3} algorithm and prove that with $K$ actions and $N$ agents the average per-agent regret after $T$ rounds is at most of order $\sqrt{\bigl(d+1 + frac{K}{N}α_{\le d}\bigr)(T\ln K)}$, where $α_{\le d}$ is the independence number of the $d$-th power of the connected communication graph $G$. We then show that for any connected graph, for $d=\sqrt{K}$ the regret bound is $K^{1/4}\sqrt{T}$, strictly better than the minimax regret $\sqrt{KT}$ for noncooperating agents. More informed choices of $d$ lead to bounds which are arbitrarily close to the full information minimax regret $\sqrt{T\ln K}$ when $G$ is dense. When $G$ has sparse components, we show that a variant of extsc{Exp3-Coop}, allowing agents to choose their parameters according to their centrality in $G$, strictly improves the regret. Finally, as a by-product of our analysis, we provide the first characterization of the minimax regret for bandit learning with delay.

研究の動機と目的

• 遅延フィードバックを伴う非確実性バンディット問題に直面するエージェントネットワークにおける協調的学習をモデル化・分析すること。
• 通信遅延とネットワーク構造がマルチエージェントバンディット設定における集団的レジーットに与える影響を理解すること。
• 隣接エージェントからの遅延フィードバックを活用してレジーット性能を向上させる協調的アルゴリズムを設計すること。
• 特に単一エージェントケースにおいて、遅延を伴うバンディット学習のミニマックスレジーットを特定すること。

提案手法

• 非確実性バンディットの分散的で協調的な変種であるExp3-Coopを提案する。
• 遅延フィードバックを、通信グラフにおける最短経路距離に等しい遅延後に到着する情報としてモデル化する。
• 過去$d$ステップまでに$d$距離以内のエージェントが取った行動からのフィードバックを組み込んだ重要度加重損失推定を用いる。
• 通信グラフ$G$の$d$乗を定義して、情報の実効的到達範囲を捉え、その独立数$\alpha_{\leq d}$をレジーットバウンドに用いる。
• エージェントの中心性に基づいてパラメータを適応的に調整するExp3-Coopの変種を導入し、スパースネットワークでの性能向上を図る。
• Exp3分布の$d$ステップ間のドリフトを標準的なExp3解析と関連づけ、遅延下での戦略安定性を定量的に分析する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク化されたエージェント群からの遅延フィードバックは、非確実性バンディット問題における集団的レジーットにどのように影響するか？
• RQ2 遅延情報を持つエージェント同士の協力は、非協力的ミニマックスレート$\sqrt{KT}$ よりも低いレジーットを達成できるか？
• RQ3 平均的ウェルファーカー・レジーットを最小化するための遅延$d$とネットワーク構造の最適なトレードオフは何か？
• RQ4 通信グラフの$d$乗の独立数$\alpha_{\leq d}$ は、レジーットバウンドにどのように影響するか？
• RQ5 エージェントの中心性に基づく適応的パrameterチューニングは、スパース通信ネットワークでのレジーットを改善できるか？

主な発見

• Exp3-Coopの1エージェントあたりの平均レジーットは、$\sqrt{(d+1+\frac{K}{N}\alpha_{\leq d})(T\ln K)}$ で抑えられ、ここで$\alpha_{\leq d}$ は通信グラフの$d$乗の独立数である。
• $d = \sqrt{K}$ のとき、レジーットバウンドは$K^{1/4}\sqrt{T\ln K} + \sqrt{K}\ln T$ に簡略化され、非協力的レート$\sqrt{KT}$ よりも厳密に優れる。
• 稠密なグラフでは、適切な$d$ を選ぶことで、レジーットバウンドを完全情報のミニマックスレジーット$\sqrt{T\ln K}$ に限りなく近づけることができる。
• スパースネットワークでは、中心性に基づくパrameterチューニングを施したExp3-Coopの変種が、標準的なExp3-Coopよりも厳密に優れたレジーットを達成する。
• 解析により、非確実性バンディットに遅延を伴う場合のミニマックスレジーット（対数要因を除いて）を初めて特定した。単一エージェントの場合、$\sqrt{(d+K)T}$ となる。
• 単一エージェント版のExp3-Coopは、Neuらの先行研究の$\sqrt{(d+1)KT}$ のバウンドを上回り、最適な$\sqrt{(d+K)T}$ の依存性を達成した。