[論文レビュー] One More Step Towards Reality: Cooperative Bandits with Imperfect Communication

Udari Madhushani, Abhimanyu Dubey+2 more|arXiv (Cornell University)|Nov 24, 2021

Advanced Bandit Algorithms Research被引用数 7

ひとこと要約

本稿では、確率的ネットワーク、ランダム遅延、敵対的破壊を含む不完全な通信下での協調的マルチアームバンディットに対する分散型アルゴリズムRCLを提案する。すべての設定において近似的に最適なグループレグレットバウンドを達成し、理論的保証と現実的な通信環境における実証的検証を併せ持つ。

ABSTRACT

The cooperative bandit problem is increasingly becoming relevant due to its applications in large-scale decision-making. However, most research for this problem focuses exclusively on the setting with perfect communication, whereas in most real-world distributed settings, communication is often over stochastic networks, with arbitrary corruptions and delays. In this paper, we study cooperative bandit learning under three typical real-world communication scenarios, namely, (a) message-passing over stochastic time-varying networks, (b) instantaneous reward-sharing over a network with random delays, and (c) message-passing with adversarially corrupted rewards, including byzantine communication. For each of these environments, we propose decentralized algorithms that achieve competitive performance, along with near-optimal guarantees on the incurred group regret as well. Furthermore, in the setting with perfect communication, we present an improved delayed-update algorithm that outperforms the existing state-of-the-art on various network topologies. Finally, we present tight network-dependent minimax lower bounds on the group regret. Our proposed algorithms are straightforward to implement and obtain competitive empirical performance.

研究の動機と目的

• リンク障害、ランダム遅延、敵対的破壊などの現実の通信不完全性をモデル化することで、協調的バンディット文献におけるギャップを埋める。
• 信頼性の低い通信チャネルにもかかわらず、性能とレグレットの保証を維持する分散型アルゴリズムを開発する。
• 分散型およびアンタゴニスティックなポリシー下でのグループレグレットに対するタイトなミニマックス下界を確立し、不完全な通信下での協調的バンディット学習の理論的限界を定める。
• 完全通信設定下で既存の最先端技術を上回る、多様なネットワークトポロジーに適応する新しい遅延更新アルゴリズムを提案する。

提案手法

• リンク障害確率モデルを導入し、報酬推定のバイアスを低減するための確率 $ p_i $ を用いたメッセージ受信調整により、時変する確率的ネットワークにおけるRCL-LFを提案する。
• UCBを遅延に配慮した信頼区間へ拡張することで、遅延報酬共有のためのRCL-SDを設計し、期待遅延 $ \bbE[\tau] $ をレグレット解析に組み込む。
• ハイブリッドなロバストアームエリミネーションと局所的信頼区間戦略を用いて、敵対的破壊の存在下でもロバストなバンディット学習を実現するRCL-ACを導入する。破壊のレベル $ \epsilon $ が未知であっても、ネットワーク内で適切な位置にあるエージェントにのみ探索を制限する。
• クライク被覆数 $ \bar{\chi}(G) $、支配数 $ \psi(G_\gamma) $、および $ \gamma $-グラフパワーといったネットワーク依存パラメータを用いて、アルゴリズムの性能とレグレット依存関係を定量化する。
• 情報理論的ツール（KLダイバージェンス分解およびチェインルール）を用いて、分散型およびアンタゴニスティックなポリシー下でのグループレグレットに対するミニマックス下界を導出する。
• エージェントが上位信頼区間に基づいてアームをサンプリングし、タイムスタンプを含むメッセージを送信し、ネットワークの信頼性に基づいてメッセージを選択的に受信する、モジュラーなアルゴリズムフレームワークを実装する。

実験結果

リサーチクエスチョン

• RQ1 確率的かつ時変する通信ネットワークでランダムなリンク障害が生じる状況下でも、協調的バンディット学習がどのようにして低いグループレグレットを維持できるか。
• RQ2 ランダムなメッセージ遅延が協調的バンディットアルゴリズムの性能に与える影響は何か。また、最小限のレグレットオーバーヘッドでどのようにしてこれを緩和できるか。
• RQ3 メッセージに敵対的破壊が存在する状況でも、破壊レベル $ \epsilon $ が未知であってもロバストなバンディット学習が可能か。
• RQ4 不完全な通信下での協調的バンディット問題におけるグループレグレットの根本的限界は何か。また、ネットワーク構造にどのように依存するか。
• RQ5 ネットワークトポロジーとエージェントの配置は、通信不完全性下での分散型協調的バンディットアルゴリズムの性能にどのように影響を与えるか。

主な発見

• RCL-LFは、$ \mathcal{O}\left(\left(\sum_{i=1}^{N}(1-p\cdot p_{i})+\sum_{\mathcal{C}\in\mathcal{C}}(\max_{i\leq\mathcal{C}}p_{i})\cdot p\right)\left(\sum_{k=1}^{K}\frac{\log T}{\Delta_{k}}\right)\right) $ のグループレグレットを達成し、通信なしと完全通信のレグレットレートの間を滑らかに補間する。
• RCL-SDは、$ \mathcal{O}\left(\bar{\chi}(G)\cdot\left(\sum_{k>1}\frac{\log T}{\Delta_{k}}\right)+\left(N\cdot\bbE[\tau]+\log T+\sqrt{N\cdot\bbE[\tau]\log T}\right)\cdot\sum_{k>1}\Delta_{k}\right) $ のレグレットを達成し、ネットワーク構造依存の単一エージェント遅延バンディットレグレットに類似する。
• RCL-ACは、$ \mathcal{O}\left(\psi(G_{\gamma})\cdot\sum_{k=1}^{K}\frac{\log T}{\Delta_{k}}+N\sum_{k=1}^{K}\frac{\log\log T}{\Delta_{k}}+NTK\gamma\epsilon\right) $ のレグレットを達成し、$ \epsilon $ の知識がなくても既知の破壊付き単一エージェントバンディットのレートと一致する。
• 本稿では、グループレグレットに対するタイトなミニマックス下界を確立し、各通信シナリオにおける導出されたレグレットレートが近似的に最適であることを示している。
• 完全通信設定下では、改善された遅延更新アルゴリズムが、スケールフリーおよびスモールワールドネットワークを含む多様なネットワークトポロジーで、既存の最先端技術を上回る性能を発揮する。
• 理論的解析により、分散型およびアンタゴニスティックなポリシーですら、少なくとも $ \Omega(\sqrt{\alpha^\star(G_\gamma)NT}) $ のレグレットを被るということが確認され、不完全な通信下での学習における本質的限界を示している。