[論文レビュー] Distributed Clustering of Linear Bandits in Peer to Peer Networks

Nathan Korda, Balázs Szörényi+1 more|arXiv (Cornell University)|Apr 26, 2016

Advanced Bandit Algorithms Research参考文献 17被引用数 69

ひとこと要約

本稿では、通信制限のあるP2Pネットワークにおける線形バンディット問題に対して、DCBおよびDCCBという2つの分散アルゴリズムを提案する。ギャッジベースの信頼球アプローチを用いるDCBは、同質的ネットワークにおいて最適な漸近的レジットを達成する。一方、DCCBは、類似したバンディット問題を解いているエージェントのクラスタを発見し、各クラスタ内で最適なレジットを維持する。実世界のデータセットを用いた評価では、中央集権的ベースラインと同等の性能を示した。

ABSTRACT

We provide two distributed confidence ball algorithms for solving linear bandit problems in peer to peer networks with limited communication capabilities. For the first, we assume that all the peers are solving the same linear bandit problem, and prove that our algorithm achieves the optimal asymptotic regret rate of any centralised algorithm that can instantly communicate information between the peers. For the second, we assume that there are clusters of peers solving the same bandit problem within each cluster, and we prove that our algorithm discovers these clusters, while achieving the optimal asymptotic regret rate within each one. Through experiments on several real-world datasets, we demonstrate the performance of proposed algorithms compared to the state-of-the-art.

研究の動機と目的

• 通信制限のあるP2Pネットワークにおけるマルチエージェント線形バンディット問題のレジット最小化という課題に対処すること。
• 即時のグローバル通信を必要とせず、中央集権的アルゴリズムと同等の最適なレジット性能を維持する分散アルゴリズムを設計すること。
• エージェントが異なるバンディット問題を解いている異種ネットワークへのフレームワークの拡張。
• クラスタ構造に関する事前知識がなくても、エージェントのクラスタを自動的に発見しつつ、各クラスタ内で最適なレジットレートを維持すること。
• 提案されたアルゴリズムを実世界のデータセットで評価し、最先端の中央集権的および分散ベースラインと比較すること。

提案手法

• DCBアルゴリズムは、エージェントがランダムに情報を交換・集約することで、推定パラメータの周囲に信頼球を維持するギャッジベースのプロトコルを用いる。
• 二重計数のバイアスを軽減するため、O(log t)のオーダーの遅延機構を導入し、漸近的整合性を保証する。
• DCCBアルゴリズムは、DCBを拡張し、類似したバンディットパラメータを持つエージェントのクラスタを検出・分離するためのプリーニング機構を統合する。
• エージェントは局所的な信頼球を維持し、隣接エージェントから共有された遅延付き観測値を用いてそれを更新する。状態の成長を管理するため、定期的なバッファクリアを実施する。
• 線形回帰に従うサブガウスノイズに基づく修正された信頼球更新ルールを用いることで、パラメータ推定値の高確率集中を保証する。
• クラスタ同定手順をアルゴリズムに統合し、時間の経過とともに真のクラスタを高確率で回復できることを証明した。

実験結果

リサーチクエスチョン

• RQ1 通信制限のあるP2Pネットワークにおいて、分散アルゴリズムが中央集権的線形バンディットアルゴリズムと同等の最適な漸近的レジットレートを達成できるか？
• RQ2 クラスタ構造に関する事前知識がなくても、同じバンディット問題を解いているエージェントのクラスタをアルゴリズムが自動的に検出し、適応できるか？
• RQ3 実世界のレコメンデーションデータセットにおける、提案された分散アルゴリズムの性能は、中央集権的および非共有ベースラインと比べてどうか？
• RQ4 ギャッジベースの分散環境において、通信遅延とデータ重複がレジットに与える影響は何か？
• RQ5 分散的・非同期環境において、クラスタを発見しつつも、最適なレジット性能を維持できるか？

主な発見

• DCBアルゴリズムは、同質的ネットワークにおいて最適な漸近的レジットレートO(log T)を達成し、中央集権的アルゴリズムと同等の性能を示した。
• DCCBアルゴリズムは、類似したバンディット問題を解いている真のエージェントクラスタを高確率で発見できた。
• DCCBは、発見された各クラスタ内で最適なレジット性能を維持し、それぞれのクラスタを独立に処理する中央集権的アルゴリズムと同等の漸近的レジットレートを達成した。
• 実世界のデータセット（LastFM、Delicious、MovieLens）において、DCCBは中央集権的アルゴリズムCLUBと同等の性能を示し、CB-NoSharingおよびCB-InstSharingよりも顕著に優れた性能を発揮した。
• 実験結果から、ギャッジベースの情報共有プロトコルが、最小限の通信オーバーヘッドで堅牢かつスケーラブルな学習を可能にすることが確認された。
• 解析により、遅延機構がデータ重複によるバイアスを効果的に軽減し、真のパラメーターベクトルへの収束を保証することが示された。