[論文レビュー] A Gang of Bandits

Nicolò Cesa‐Bianchi, Claudio Gentile+1 more|arXiv (Cornell University)|Dec 5, 2013

Advanced Bandit Algorithms Research参考文献 23被引用数 47

ひとこと要約

本稿では、ユーザー間の社会的関係を活用して推薦性能を向上させるネットワーキング型マルチアームバンディットフレームワークを提案する。ユーザー（バンディットエージェント）が隣接ユーザーと文脈的特徴および報酬信号を共有できるようにし、スケーラブルなクラスタリングベースの変種を導入することで、関係構造を無視する最先端の文脈的バンディット手法よりも顕著に高い予測精度を達成する。

ABSTRACT

Multi-armed bandit problems formalize the exploration-exploitation trade-offs arising in several industrially relevant applications, such as online advertisement and, more generally, recommendation systems. In many cases, however, these applications have a strong social component, whose integration in the bandit algorithm could lead to a dramatic performance increase. For instance, content may be served to a group of users by taking advantage of an underlying network of social relationships among them. In this paper, we introduce novel algorithmic approaches to the solution of such networked bandit problems. More specifically, we design and analyze a global recommendation strategy which allocates a bandit algorithm to each network node (user) and allows it to share signals (contexts and payoffs) with the neghboring nodes. We then derive two more scalable variants of this strategy based on different ways of clustering the graph nodes. We experimentally compare the algorithm and its variants to state-of-the-art methods for contextual bandits that do not use the relational information. Our experiments, carried out on synthetic and real-world datasets, show a consistent increase in prediction performance obtained by exploiting the network structure.

研究の動機と目的

• 推薦システムにおける社会的関係を活用しない従来の文脈的バンディットの限界を是正すること。
• オンライン推薦シナリオにおけるユーザー間の関係的構造をモデル化・活用すること。
• 接続されたユーザー間での情報共有を可能にするスケーラブルなネットワーキングバンディットのグローバル戦略を設計すること。
• 計算スケーラビリティを向上させるために、グローバル戦略の効率的でクラスタリングされた変種を開発すること。
• 社会的ネットワーク構造をバンディット学習に組み込むことで得られる性能向上を実証的に検証すること。

提案手法

• 社会的ネットワーク内の各ユーザー節点にマルチアームバンディットアルゴリズムを導入し、探索と活用のバランスをとる。
• 各ユーザーが直接接続された隣接ユーザーと文脈的特徴および観測された報酬を共有することで、学習を向上させる。
• ネットワーク全体にわたる信号の集約を可能にするグローバル推薦戦略を定式化し、個々のエージェントのパフォーマンスを向上させる。
• グラフノードをクラスタリングすることで、通信オーバーヘッドを低減し効率を向上させる2つのスケーラブルな変種を設計する。
• 構造的類似性に基づいてユーザーをグループ化するためのグラフクラスタリング技術を用い、クラスタ内での局所的信号伝搬を可能にする。
• 各ノード内で標準的な文脈的バンディットアルゴリズム（例：LinUCB）を適用し、隣接ユーザーからの共有信号およびクラスタレベルの集約を強化要因とする。

実験結果

リサーチクエスチョン

• RQ1 バンディットアルゴリズムに社会的ネットワーク構造を組み込むことで、推薦パフォーマンスに測定可能な向上が見られるか？
• RQ2 社会的グラフ上で隣接ユーザー間の信号共有が、文脈的バンディット方策の収束性および正確性にどのように影響するか？
• RQ3 グローバル戦略とクラスタリング戦略を適用する際の、パフォーマンスとスケーラビリティのトレードオフは何か？
• RQ4 異なるグラフクラスタリング戦略が、ネットワーキングバンディットにおける情報共有の効果にどのように影響するか？
• RQ5 関係的信号は、孤立したバンディットエージェントと比較して、探索のオーバーヘッドをどれほど低減させ、予測正確性を向上させるか？

主な発見

• 提案されたネットワーキングバンディット戦略は、関係的情報を使用しない最先端の文脈的バンディット手法と比較して、一貫的かつ顕著な予測パフォーマンスの向上を達成する。
• グローバル信号共有戦略は、社会的関係を効果的に活用し、ユーザー全体の学習を加速させ、後悔を低減する。
• クラスタリングされた変種は、高いパフォーマンスを維持しながらスケーラビリティを向上させ、大規模ネットワークへの適用可能性を実現する。
• 合成データおよび実世界データを用いた実験により、関係的情報が収束速度の向上と長期的な報酬蓄積の改善に寄与することが確認された。
• 個々のデータが疎な状況では、隣接ユーザーからの信号が学習に不可欠な信号を提供し、性能向上が顕著に現れる。