[論文レビュー] Horde of Bandits using Gaussian Markov Random Fields

Sharan Vaswani, Mark Schmidt+1 more|arXiv (Cornell University)|Mar 7, 2017

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

本論文は、社会的グラフを介してユーザーの好みの依存関係をモデル化するための、ガウスマルコフランダムフィールド（GMRFs）を用いたスケーラブルな文脈的バンディットフレームワーク「Horde of Bandits」を提案する。GMRFの推論と摂動によるサンプリングを用いたトンプソンサンプリングにより、制限のないクラスタリング仮定を課さずに、大規模なグラフに対しても効率的にスケーリングされ、サブラインハーブレギュレーションを達成する。実験では、グラフを無視する手法やクラスタリング手法を上回る性能を示した。

ABSTRACT

The gang of bandits (GOB) model \cite{cesa2013gang} is a recent contextual bandits framework that shares information between a set of bandit problems, related by a known (possibly noisy) graph. This model is useful in problems like recommender systems where the large number of users makes it vital to transfer information between users. Despite its effectiveness, the existing GOB model can only be applied to small problems due to its quadratic time-dependence on the number of nodes. Existing solutions to combat the scalability issue require an often-unrealistic clustering assumption. By exploiting a connection to Gaussian Markov random fields (GMRFs), we show that the GOB model can be made to scale to much larger graphs without additional assumptions. In addition, we propose a Thompson sampling algorithm which uses the recent GMRF sampling-by-perturbation technique, allowing it to scale to even larger problems (leading to a "horde" of bandits). We give regret bounds and experimental results for GOB with Thompson sampling and epoch-greedy algorithms, indicating that these methods are as good as or significantly better than ignoring the graph or adopting a clustering-based approach. Finally, when an existing graph is not available, we propose a heuristic for learning it on the fly and show promising results.

研究の動機と目的

• ユーザー数に比例して時間計算量が二次関数的になるというスケーラビリティの制限を抱えるGang of Bandits（GOB）モデルに対処すること。
• 現実的でないクラスタリング仮定を課さずに、大規模なレコメンデーションシステムにおけるユーザー間の情報伝達を効率的に行えるようにすること。
• GOBにおけるトンプソンサンプリングの変種を、GMRFの摂動によるサンプリング技術を用いて、大規模なグラフにスケーリング可能にするように開発すること。
• グラフが事前に入手できない状況において、ユーザーのグラフと好みを同時に学習するためのヒューリスティックを提案すること。
• 理論的レギュレーションバウンドを確立し、ベースライン手法およびクラスタリングに基づく手法との間で性能向上を実証すること。

提案手法

• ユーザーの好みの事前分布の精度行列（逆共分散行列）をユーザーのグラフによって定義するガウスマルコフランダムフィールド（GMRF）としてGOBモデルを再定式化する。
• スパースなグラフに対して線形時間のソルバーを用いることで、GMRFフレームワークにおける最尤後確率（MAP）推定を用いて、ユーザーの好みを効率的に推定する。
• GMRFの文献から取り入れた摂動によるサンプリング技術を活用し、効率的な事後分布サンプリングを実現するトンプソンサンプリングアルゴリズムを導入する。
• 行列のフルインバージョンを回避する摂動ベースのサンプリング手法を採用し、大規模問題へのスケーラビリティを実現する。
• グラフが提供されていない場合に、ユーザーのグラフと好みを同時に学習するために、交互最小化を適用する。
• 時間に比例してサブラインハーブレギュレーションがスケーリングされる理論的レギュレーションバウンドを導出する。このバウンドは、グラフ構造と問題パラメータに依存する。

実験結果

リサーチクエスチョン

• RQ1 GOBモデルは、制限的なクラスタリング仮定に依存せずに、大規模なグラフにスケーリング可能か？
• RQ2 GMRFに基づく推論とサンプリング技術は、GOBフレームワークにおける効率的なトンプソンサンプリングを可能にするか？
• RQ3 提案されたGMRFベースのGOB手法は、グラフを無視する手法およびクラスタリングに基づくベースラインと比較して、レギュレーションとスケーラビリティの点でどの程度の性能を示すか？
• RQ4 ユーザーのグラフ情報が事前に入手できない状況において、ユーザーの好みと社会的グラフ構造を同時に学習するフレームワークは有効か？
• RQ5 提案されたGMRFベースのトンプソンサンプリングアルゴリズムに対して、どのような理論的レギュレーションバウンドを確立できるか？

主な発見

• 提案されたGMRFベースのGOB手法は、ユーザー数の平方根とグラフの有効次元に比例してサブラインハーブレギュレーションを達成し、強力な理論的保証を示した。
• スパースなGMRFソルバーのおかげで、元のGOBモデルの二次関数的時間計算量を回避することができ、大規模なグラフに対しても効率的にスケーリングされた。
• 実験結果から、累積的レギュレーションの観点で、グラフを無視する手法およびクラスタリングに基づく手法を上回る、あるいは同等の性能を示した。
• 摂動によるサンプリングを用いたトンプソンサンプリングの変種は、効率的な事後分布サンプリングを実現し、大規模なバンディット問題に適していることがわかった。
• ユーザーのグラフが事前に入手できない状況においても、ユーザーの好みとグラフを同時に学習するためのヒューリスティックは、有望な性能を示した。
• 理論的解析により、レギュレーションが逆ラプラシアンのトレースと問題固有のパラメータに依存することが確認され、グラフ構造が学習効率に与える影響が明確になった。