[論文レビュー] Stochastic bandits on a social network: Collaborative learning with local information sharing.

Ravi Kumar Kolla, Krishna Jagannathan+1 more|arXiv (Cornell University)|Feb 29, 2016

Advanced Bandit Algorithms Research参考文献 11被引用数 3

ひとこと要約

本稿は、仲間の行動報酬を共有する社会的ネットワーク上で協調的マルチアームバンディット学習を研究する。単一エージェントのポリシーの単純な拡張は、非利他の行動のため失敗するが、ネットワーク構造、特にスターモデルを活用することで、ハブが情報の吸収源として機能し、レグレットを顕著に低減できることが示された。

ABSTRACT

We consider a collaborative online learning paradigm, wherein a group of agents connected through a social network are engaged in learning a Multi-Armed Bandit problem. Each time an agent takes an action, the corresponding reward is instantaneously observed by the agent, as well as its neighbours in the social network. We perform a regret analysis of various policies in this collaborative learning setting. A key finding of this paper is that appropriate network extensions of widely-studied single agent learning policies do not perform well in terms of regret. In particular, we identify a class of non-altruistic and individually consistent policies, which could suffer a large regret. We also show that the regret performance can be substantially improved by exploiting the network structure. Specifically, we consider a star network, which is a common motif in hierarchical social networks, and show that the hub agent can be used as an information sink, to aid the learning rates of the entire network. We also present numerical experiments to corroborate our analytical results.

研究の動機と目的

• 社会的ネットワークを介して仲間の行動と報酬を共有する協調的マルチアームバンディット学習におけるレグレット性能を分析すること。
• 標準的な単一エージェントバンディットポリシーが、ネットワーク化・協調的状況に一般化してうまく機能するかどうかを調査すること。
• 学習効率を向上させ、レグレットを低減するための社会的ネットワークの構造的特性を同定すること。
• 特にスターモデルのようなネットワークトポロジーを活用して、集団的学習を改善する方法を示すこと。

提案手法

• エージェントが自らの行動だけでなく、隣接エージェントの行動の報酬も観測する協調的学習モデルを形式化すること。
• ネットワークによる情報共有下での、非利他の行動や個別に一貫した戦略を含むさまざまなポリシーのレグレット性能を分析すること。
• 局所的な情報共有を考慮したバンディットポリシーのネットワーク拡張を導入し、特にスターモデル構造を焦点にすること。
• スターネットワークにおけるハブエージェントが情報を集約・拡散するポリシーを設計し、情報の吸収源としての機能を果たすことで学習を加速させること。
• レグレット分析を用いて、異なるポリシー型およびネットワークトポロジー間での性能を比較すること。
• 理論的発見の妥当性を検証するため、数値実験を実施し、構造的情報共有によるレグレット低減を確認すること。

実験結果

リサーチクエスチョン

• RQ1 標準的な単一エージェントバンディットポリシーは、局所的情報共有を伴う協調的状況にうまく一般化できるか？
• RQ2 社会的ネットワークの構造は、協調的バンディット学習における集団的レグレットにどのように影響するか？
• RQ3 スターネットワークにおけるハブエージェントは、ネットワーク全体の学習速度向上に効果的な情報の吸収源として機能できるか？
• RQ4 個別に一貫したポリシーでも、ネットワーク化された協調的状況ではなぜ高いレグレットを示すのか？
• RQ5 分散型学習において、ネットワークトポロジーをどの程度活用して集団的レグレットを低減できるか？

主な発見

• 単一エージェントバンディットポリシーの単純なネットワーク拡張は、非利他の行動のため、高いレグレットを引き起こすことがある。
• 非利他の行動を示すが個別に一貫したポリシー群は、協調的バンディット学習において劣った集団的性能を示す。
• スターネットワークにおけるハブエージェントは、情報の吸収源として機能し、ネットワーク全体の学習効率を顕著に向上させられる。
• 特にスターモデルのようなネットワーク構造を活用することで、構造のないあるいは単純なポリシー拡張と比較して、集団的レグレットを大幅に低減できる。
• 数値実験により、ハブエージェントによる構造的情報共有が、収束を早め、レグレットを低減することを確認した。