[論文レビュー] Cascading Bandits for Large-Scale Recommendation Problems

Shi Zong, Hao Ni+4 more|arXiv (Cornell University)|Mar 17, 2016

Advanced Bandit Algorithms Research参考文献 12被引用数 82

ひとこと要約

本稿では、アイテム特徴の線形関数としてアイテムの魅力度確率をモデル化する、大規模な推薦システム向けのスケーラブルなオンライン学習フレームワーク「線形級連バンディット」を提案する。特徴に基づく一般化を活用することで、候補アイテム数Lに依存しないレグレットを達成する2つの効率的アルゴリズム—CascadeLinTSおよびCascadeLinUCB—を設計した。実践的かつ顕著に優れた性能を発揮し、10万個以上のアイテムを含む映画や音楽推薦のような大規模なアイテム設定でも実用的な導入が可能である。

ABSTRACT

Most recommender systems recommend a list of items. The user examines the list, from the first item to the last, and often chooses the first attractive item and does not examine the rest. This type of user behavior can be modeled by the cascade model. In this work, we study cascading bandits, an online learning variant of the cascade model where the goal is to recommend $K$ most attractive items from a large set of $L$ candidate items. We propose two algorithms for solving this problem, which are based on the idea of linear generalization. The key idea in our solutions is that we learn a predictor of the attraction probabilities of items from their features, as opposing to learning the attraction probability of each item independently as in the existing work. This results in practical learning algorithms whose regret does not depend on the number of items $L$. We bound the regret of one algorithm and comprehensively evaluate the other on a range of recommendation problems. The algorithm performs well and outperforms all baselines.

研究の動機と目的

• 候補アイテム数Lが非常に大きい大規模な推薦システムにおいて、従来の級連バンディットアルゴリズムが現実的でないという問題に対処すること。
• ユーザーが順位付けられた推薦において、最初に魅力的と感じたアイテムを選択してスキャンを停止するという級連モデルを用いてユーザー行動をモデル化すること。
• アイテム特徴を活用することで、アイテム数Lに比例するレグレットの増加を抑制し、サブラインアーレグレットに抑えるスケーラブルな学習フレームワークを構築すること。
• 線形関数近似を用いてアイテム間で一般化を図る効率的アルゴリズムを設計し、実世界の推薦システムにおける実用的導入を可能にすること。

提案手法

• アイテムの魅力度確率が既知のアイテム特徴と未知のパラメーターベクトルの線形関数であると仮定する線形級連バンディットを導入する。
• 部分観測の級連フィードバック設定に特化したThompson SamplingおよびLinear UCBの拡張版として、CascadeLinTSおよびCascadeLinUCBを提案する。
• 特徴ベクトルを用いてアイテム間で一般化を実現し、個々のアイテムの推定を回避することで、Lに依存するレグレットの低減を図る。
• 完全な線形一般化と独立したアイテム魅力度の仮定の下で、CascadeLinUCBのレグレットに対する上界を導出する。
• 未知のパラメーターベクトルの信頼集合または事後分布を維持することで、探索と活用のバランスを取るアルゴリズムを設計する。
• レストラン、音楽、映画など多様な推薦タスクにおいて、CascadeLinTSの性能を実験的に評価する。

実験結果

リサーチクエスチョン

• RQ1 級連フィードバック下でトップKアイテム推薦を実行するスケーラブルなオンライン学習アルゴリズムを設計でき、候補アイテム数Lに比例するレグレット増加を回避できるか？
• RQ2 アイテム特徴を活用することで、アイテム間で魅力度確率の推定を一般化し、サンプル必要量を削減できるか？
• RQ3 級連バンディット設定における線形一般化が、非一般化ベースラインと比較してサブラインアーレグレットと優れた実験的性能を達成するか？
• RQ4 線形モデルの仮定が不完全または実際には破綻している場合でも、提案されたアルゴリズムが強力な性能を維持できるか？
• RQ5 CascadeUCB1 やコンテキスト付き順位バンドイットといった既存手法と比較して、提案アルゴリズムのレグレットおよび累積報酬はどのように異なるか？

主な発見

• 提案されたCascadeLinTSは、非一般化ベースライン（例：CascadeUCB1）と比較して、大規模な推薦問題において桁違いに優れた性能を発揮する。
• 特徴に基づく一般化のおかげで、CascadeLinUCBのレグレットは候補アイテム数Lに比例して増加せず、有界である。
• 実験結果から、CascadeLinTSは線形モデルの仮定が破綻している場合でも良好に動作することが示され、モデル誤指定に対して高いロバストネスを示している。
• アルゴリズムは大規模なアイテム集合—例えば10万本の映画—に対しても効果的にスケーリングでき、実世界の推薦システムへの実用的導入を可能にする。
• 高次元のアイテム空間では、特徴に基づく一般化が、網羅的な探索の必要性を大幅に低減するため、性能向上が顕著に現れる。
• 結果から、線形一般化は産業規模の推薦システムにおける級連バンディットの実用的導入を可能にする重要な要因であると示唆される。