[論文レビュー] Individual Regret in Cooperative Nonstochastic Multi-Armed Bandits

Yogev Bar-On, Yishay Mansour|arXiv (Cornell University)|Jul 7, 2019

Advanced Bandit Algorithms Research被引用数 10

ひとこと要約

本稿は、エージェントがネットワークを介して通信することで個々のリグレットを低減する協調的で非確率的なマルチアームバンディット問題に対する分散型リグレット最小化アルゴリズムを提案する。エージェント $v$ の個々の期待リグレットは $\widetilde{O}\big(\big(1 + \frac{K}{|\mathcal{N}(v)|}\big)^{1/2} \sqrt{T}\big)$ に抑えられ、Cesa-Bianchi ら（2019b）が提起した未解決問題を、通信グラフが既知であれ未知であれ、性能差が対数的であることを除き解決する。

ABSTRACT

We study agents communicating over an underlying network by exchanging messages, in order to optimize their individual regret in a common nonstochastic multi-armed bandit problem. We derive regret minimization algorithms that guarantee for each agent $v$ an individual expected regret of $\widetilde{O}\left(\sqrt{\left(1+\frac{K}{\left|\mathcal{N}\left(v ight) ight|} ight)T} ight)$, where $T$ is the number of time steps, $K$ is the number of actions and $\mathcal{N}\left(v ight)$ is the set of neighbors of agent $v$ in the communication graph. We present algorithms both for the case that the communication graph is known to all the agents, and for the case that the graph is unknown. When the graph is unknown, each agent knows only the set of its neighbors and an upper bound on the total number of agents. The individual regret between the models differs only by a logarithmic factor. Our work resolves an open problem from [Cesa-Bianchi et al., 2019b].

研究の動機と目的

• エージェントがネットワークを介して通信する協調的で非確率的なマルチアームバンディット問題における個々のリグレット最小化を扱う。
• グローバルな情報が限られている中でも、各エージェントが低い個々のリグレットを達成できるようにするアルゴリズムを設計する。
• Cesa-Bianchi ら（2019b）が提起した、通信グラフが既知および未知の両設定下でのリグレットバウンドに関する未解決問題を解決する。
• 特に、局所的近隣ノード数 $|\mathcal{N}(v)|$ が個々のリグレット性能に与える影響を分析する。

提案手法

• エージェントは固定された通信グラフを介してメッセージを交換し、報酬と意思決定に関する情報を共有する。
• アルゴリズムは、信頼区間に基づく分散型の探索と活用戦略を採用し、近隣エージェントの報酬を局所的に平均化する。
• 未知のグラフの場合、エージェントは分散推定手順を用いてネットワーク構造を推定し、一貫したリグレットバウンドを維持する。
• リグレット解析では、濃度不等式とネットワークの連結性の性質を用い、個々のリグレットを局所的近隣ノード数 $|\mathcal{N}(v)|$ の関数としてバウンドする。
• 重要な要素として、近隣エージェントの報酬の重み付き平均を用いることで分散を低減し、個々のパフォーマンスを向上させる。
• アルゴリズムは、グラフが既知であろうが未知であろうが適応可能であり、リグレット性能に差は対数的要因のみである。

実験結果

リサーチクエスチョン

• RQ1 エージェントがネットワーク上で局所的にのみ通信する場合、協調的で非確率的なマルチアームバンディット問題において個々のリグレットを最小化できるか？
• RQ2 エージェント $v$ の近隣ノード数 $|\mathcal{N}(v)|$ がその個々のリグレットバウンドにどのように影響するか？
• RQ3 通信グラフがエージェントに未知である場合、達成可能な最適なリグレット性能は何か？
• RQ4 中央集権的または完全な情報が得られる設定と比較して、提案手法のリグレットスケーリングはどのように異なるか？
• RQ5 Cesa-Bianchi ら（2019b）が提示した、一般のネットワークトポロジー下での協調的バンディットにおける個々のリグレットに関する未解決問題は、解決可能か？

主な発見

• 提案アルゴリズムは、各エージェント $v$ に対して、時間枠 $T$ と行動数 $K$ を用いて、個々の期待リグレットが $\widetilde{O}\big(\big(1 + \frac{K}{|\mathcal{N}(v)|}\big)^{1/2} \sqrt{T}\big)$ に抑えられることを保証する。
• リグレットバウンドは近隣ノード数の平方根に反比例するため、近隣ノードが多いエージェントほど低いリグレットを達成する。
• 通信グラフが未知であっても、既知の場合と比較して対数的要因の差異しか生じないため、ほぼ最適な性能を発揮する。
• この結果により、Cesa-Bianchi ら（2019b）が提示した協調的で非確率的なバンディットにおける個々のリグレットに関する未解決問題が解決された。
• 解析により、グローバルなネットワークの知識がなくても、局所的情報と通信のみでほぼ最適なリグレットが達成可能であることが示された。