[論文レビュー] Leveraging Side Observations in Stochastic Bandits

Stéphane Caron, Branislav Kveton+2 more|arXiv (Cornell University)|Oct 16, 2012

Advanced Bandit Algorithms Research参考文献 20被引用数 66

ひとこと要約

本稿では、ステochastic multi-armed banditsにおけるUCBベースのアルゴリズムを提案し、1つのアームを引いた後に関連するアームからの報酬（サイドオブザーバーション）を活用することで、学習を加速する。社会的ネットワークのような構造的関係を活用することで、実データセット上での映画推薦実験において、標準的なバンディット手法と比較して最大14倍の高速化を達成し、標準的手法よりも顕著に改善されたレグレットバウンドを実現する。

ABSTRACT

This paper considers stochastic bandits with side observations, a model that accounts for both the exploration/exploitation dilemma and relationships between arms. In this setting, after pulling an arm i, the decision maker also observes the rewards for some other actions related to i. We will see that this model is suited to content recommendation in social networks, where users' reactions may be endorsed or not by their friends. We provide efficient algorithms based on upper confidence bounds (UCBs) to leverage this additional information and derive new bounds improving on standard regret guarantees. We also evaluate these policies in the context of movie recommendation in social networks: experiments on real datasets show substantial learning rate speedups ranging from 2.2x to 14x on dense networks.

研究の動機と目的

• 関連アームからのサイドオブザーバーションを統合することで、stochastic banditsにおける探索と活用のトレードオフを改善すること。
• ユーザーの反応が他のユーザーに影響を与えるような、社会的ネットワーク推薦の現実世界のシナリオをモデル化すること。
• アーム間の関係を活用して、レグレットを低減し、学習を加速する効率的なアルゴリズムを開発すること。
• 標準的なバンディット手法よりも改善された理論的レグレットバウンドを導出すること。

提案手法

• 関連アームのサイドオブザーバーションを活用して、信頼区間の更新を行うUCBベースのアルゴリズムを設計する。
• 1つのアームを引くことで、接続されたアームの報酬が明らかになるように、アームの関係性をグラフとしてモデル化する。
• 上側信頼区間の計算にサイドオブザーバーションを統合し、不確実性をより効率的に低減する。
• アーム間の依存関係を表現するためのグラフ構造を用い、関連する行動間で情報共有を可能にする。
• サイドオブザーバーションの数とグラフ構造に依存する理論的レグレットバウンドを導出する。
• 実際の社会的ネットワークデータセットを用いて性能を評価し、実験的高速化を検証する。

実験結果

リサーチクエスチョン

• RQ1 関連アームからのサイドオブザーバーションは、stochastic banditsにおける学習効率を向上させるためにどのように効果的に活用できるか？
• RQ2 サイドオブザーバーションが利用可能な場合に導出可能な理論的レグレットバウンドは何か？
• RQ3 グラフ構造を持つアーム関係は、推薦システムにおける学習速度とレグレットにどのように影響を与えるか？
• RQ4 実際の状況において、サイドオブザーバーションは最適アームを特定するために必要な引数の回数をどの程度削減できるか？
• RQ5 理論的保証を維持したまま、UCBベースのアルゴリズムをサイドオブザーバーションを活用できるように拡張できるか？

主な発見

• 提案手法は、密度の高い社会的ネットワークにおいて、標準的手法と比較して最大14倍の高速化を達成した。
• 実際の映画推薦データセットを用いた実験では、2.2倍から14倍の一貫した高速化が確認された。
• 特に接続度の高いグラフ構造において、サイドオブザーバーションを統合することで理論的レグレットバウンドが改善された。
• サイドオブザーバーションは、最適な行動に収束するまでの必要な引数の回数を顕著に削減した。
• 密度の高いネットワークトポロジーにおいて、標準的なUCBよりもレグレットと収束速度の両面で優れた性能を示した。
• サイドオブザーバーションの数に応じて効率的にスケーリングしつつ、理論的保証を維持した。