[論文レビュー] When to Call Your Neighbor? Strategic Communication in Cooperative Stochastic Bandits

Udari Madhushani, Naomi Ehrich Leonard|arXiv (Cornell University)|Oct 8, 2021

Advanced Bandit Algorithms Research参考文献 23被引用数 4

ひとこと要約

本稿では、協調的ステochasticバンディットにおけるコスト効率の良い通信プロトコルであるComExを提案する。ComExは、完全な通信と同等の最適なレグレット性能を維持しながら、通信量をΘ(T)からO(log T)に削減する。ComExは、非最適なアームを引く可能性の高い探索的行動からの報酬のみを戦略的に送信することで、不要なメッセージを最小限に抑えつつ、グループのパフォーマンスを損なわない。

ABSTRACT

In cooperative bandits, a framework that captures essential features of collective sequential decision making, agents can minimize group regret, and thereby improve performance, by leveraging shared information. However, sharing information can be costly, which motivates developing policies that minimize group regret while also reducing the number of messages communicated by agents. Existing cooperative bandit algorithms obtain optimal performance when agents share information with their neighbors at extit{every time step}, i.e., full communication. This requires $Θ(T)$ number of messages, where $T$ is the time horizon of the decision making process. We propose extit{ComEx}, a novel cost-effective communication protocol in which the group achieves the same order of performance as full communication while communicating only $O(\log T)$ number of messages. Our key step is developing a method to identify and only communicate the information crucial to achieving optimal performance. Further we propose novel algorithms for several benchmark cooperative bandit frameworks and show that our algorithms obtain extit{state-of-the-art} performance while consistently incurring a significantly smaller communication cost than existing algorithms.

研究の動機と目的

• 協調的ステochasticバンディットにおける通信コストを低下させつつ、グループのパフォーマンスを劣化させないこと。
• レグレットを最小限に抑えるために最も価値のある情報を同定し、非最適なアームのプルから得られる報酬に焦点を当てる。
• エージェントが探索状態に基づいて、必要に応じてのみ通信を行うプロトコルを開発すること。
• 理論的および実験的妥当性を伴って、複数のベンチマーク協調バンディットフレームワークにプロトコルを統合すること。
• 従来の手法と比較して顕著に低い通信オーバーヘッドで最先端のパフォーマンスを達成すること。

提案手法

• ComExは、エージェントが探索的行動（現在の最良推定値でないアームを引くこと）を実行した場合にのみメッセージを送信する。
• プロトコルは、過去の情報を破棄する有限メモリウィンドウγを用いた遅延メッセージ伝達メカニズムを採用する。
• エージェントはアーム平均値と信頼区間の局所的推定値を維持し、隣接エージェントから受信したメッセージを用いてそれを更新する。
• UCB、推定ベースのUCB、およびトムソンサンプリングの変種と統合することで、複数のフレームワークとの互換性を確保する。
• メッセージにはエージェントID、時刻、行動、報酬が含まれており、冗長性を最小限に抑えつつ、コンSENSUSに基づく推定を可能にする。
• メッセージ破棄メカニズムにより、最近の関連データのみが使用され、ストレージおよび通信のオーバーヘッドが削減される。

実験結果

リサーチクエスチョン

• RQ1 協調的バンディットにおいて、最適なレグレットパフォーマンスを維持しながら通信コストを削減することは可能か？
• RQ2 協調的バンディット設定において、グループのレグレットを最小限に抑えるために、どの種類の情報が最も重要か？
• RQ3 完全な通信と同等のレグレットオーダーを達成するには、Θ(T)ではなくO(log T)のメッセージ数で十分か？
• RQ4 探索的行動からのみ価値ある情報を送信する通信プロトコルをどのように設計できるか？
• RQ5 ComExは、理論的保証が得られる多様な協調的バンディットフレームワークに効果的に統合可能か？

主な発見

• ComExは完全な通信と同等のグループのレグレットオーダーを達成しており、O(log T)のメッセージ数で最適なパフォーマンスが達成可能であることを示した。
• ComExの通信コストはO(log T)であり、完全通信のΘ(T)と比較して顕著に低減されている。
• 分散型および集中型のフレームワーク（報酬共有、メッセージ伝達、推定値共有を含む）の全ベンチマークにおいて、ComExベースのアルゴリズムは既存手法を上回る通信効率を達成した。
• 実験により、ComExベースのアルゴリズムが、最先端のベースラインと比較して顕著に低い通信コストを維持しながら、パフォーマンスを同等または上回ることが確認された。
• プロトコルはUCB、推定-UCB、トムソンサンプリングを含む複数のバンディットアルゴリズムと互換性があり、すべてのバージョンで理論的保証が得られた。
• 探索的プルからの報酬のみを送信することで、ComExは不要な通信を回避しながら、非最適なアームを特定・回避する能力を保持している。