[論文レビュー] Graph Clustering Bandits for Recommendation

Shuai Li, Claudio Gentile+1 more|arXiv (Cornell University)|May 2, 2016

Advanced Bandit Algorithms Research参考文献 12被引用数 11

ひとこと要約

本稿では、マルチアームバンディット設定における行動の類似性に基づいてユーザーを動的にグループ化するグラフクラスタリングバンディットアルゴリズムGCLUBを提案する。この手法により、アイテムとユーザークラスタの両方に対する共同探索が可能となり、特に低活動ユーザーにおいて顕著な推薦パフォーマンスの向上が達成される。文脈バンディットと適応的クラスタリングを組み合わせることで、LastFM、Delicious、MovieLens、Yahoo Newsを含む4つの実世界データセットにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

We investigate an efficient context-dependent clustering technique for recommender systems based on exploration-exploitation strategies through multi-armed bandits over multiple users. Our algorithm dynamically groups users based on their observed behavioral similarity during a sequence of logged activities. In doing so, the algorithm reacts to the currently served user by shaping clusters around him/her but, at the same time, it explores the generation of clusters over users which are not currently engaged. We motivate the effectiveness of this clustering policy, and provide an extensive empirical analysis on real-world datasets, showing scalability and improved prediction performance over state-of-the-art methods for sequential clustering of users in multi-armed bandit scenarios.

研究の動機と目的

• 推薦システムにおける希少なユーザー行動の課題に対処すること。特に、多くのユーザーが歴史的相互作用データをほとんど持たない状況を想定する。
• 行動の類似性に基づくユーザーの動的クラスタリングを活用することで、協調効果を統合し、推薦パフォーマンスを向上させること。
• 標準的な文脈バンディットに加え、アイテムだけでなくユーザークラスタの割り当てに対しても探索を追加することで、非活動または新規ユーザーに対して効果的な推薦を実現すること。
• 不均衡なユーザー行動状況下において、アイテムとクラスタの両方に対する共同探索の有効性を評価すること。

提案手法

• ユーザーをノードとするグラフとしてモデル化し、エッジは過去のアイテム選択に基づく行動の類似性を表す。
• 観測されたユーザー行動に基づいて、リアルタイムで動的にクラスタを形成・再構成する確率的探索メカニズムを用いる。
• 各ユーザーのアイテム推薦がクラスタレベルの好みのパターンに基づく文脈バンディットフレームワークを適用し、クラスタ割り当ての探索を実施する。
• 各クラスタに対して個別のモデルを維持し、UCBスタイルの探索戦略を用いて、新しいクラスタと既知のクラスタ行動の両方の探索をバランスさせる。
• ユーザーおよびアイテムの特徴を統合し、各クラスタ内でのアイテム推薦の報酬（例：クリックストラックレート）を予測する線形モデルを用いる。
• パラメータチューニングはトレーニングデータ上でグリッドサーチを実施し、テストセットでの性能評価には累積リグレットとクリックストラックレート（CTR）の指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 行動の類似性に基づくユーザーの動的クラスタリングが、マルチアームバンディット設定下での推薦パフォーマンス向上に寄与するか？
• RQ2 標準的なアイテムレベルの探索に加え、ユーザークラスタの割り当てに対しても探索を追加することで、予測精度に顕著な向上が得られるか？
• RQ3 高いユーザー行動の不均衡が生じる実世界の環境下で、本手法はどのように性能を発揮するか？
• RQ4 累積リグレットとCTRの観点から、GCLUBはLinUCB-ONE、LinUCB-IND、CLUBを上回る状況はどのようなものか？

主な発見

• GCLUBは、LastFM、Delicious、MovieLens、Yahoo Newsの4つの実世界データセットすべてにおいて、CLUB、LinUCB-ONE、LinUCB-INDを含むすべてのベースラインを上回る。
• LastFM、Delicious、MovieLensでは、GCLUBがランダムベースライン（RAN）に対する累積リグレット比が低く抑えられており、リグレット最小化の観点で優れた性能を示している。
• ログフィードバックのみが利用可能なYahooデータセットでは、GCLUBがRAN比のクリックストラックレート（CTR）がすべての競合手法を上回っており、実世界での性能向上を実証している。
• ユーザー行動の不均衡が著しい状況において、GCLUBの性能向上が顕著であり、動的クラスタ探索により低活動および新規ユーザーの対応が効果的に行われている。
• CLUBは効果的ではあるが、GCLUBに劣っており、特に長期的な観点から、クラスタの共同探索が安定性と正確性の両方を向上させていることが示唆される。
• 結果から、クラスタリングによる協調フィルタリングとクラスタレベルでのバンディット探索を統合することで、推薦品質に顕著かつ一貫した向上が得られると示唆される。