[論文レビュー] Bandits Warm-up Cold Recommender Systems

Jérémie Mary, Romaric Gaudel+1 more|arXiv (Cornell University)|Jul 10, 2014

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

本稿では、側面情報に依存せずにレコメンデーションシステムにおけるコールドスタート問題に対処するため、バッチ行列分解をオンラインで逐次的な意思決定フレームワークに変換する文脈的バンディットベースのアルゴリズムBeWAREを提案する。不確実性に基づく探索を、ユーザーおよびアイテムの潜在要因における信頼区間を用いて実現することで、探索と活用のバランスを効果的にとる。実世界のデータセット（NetflixやMovieLens）において、グリーディなベースラインを上回る性能を示し、特に初期段階のレコメンデーションで顕著な効果を発揮する。

ABSTRACT

We address the cold start problem in recommendation systems assuming no contextual information is available neither about users, nor items. We consider the case in which we only have access to a set of ratings of items by users. Most of the existing works consider a batch setting, and use cross-validation to tune parameters. The classical method consists in minimizing the root mean square error over a training subset of the ratings which provides a factorization of the matrix of ratings, interpreted as a latent representation of items and users. Our contribution in this paper is 5-fold. First, we explicit the issues raised by this kind of batch setting for users or items with very few ratings. Then, we propose an online setting closer to the actual use of recommender systems; this setting is inspired by the bandit framework. The proposed methodology can be used to turn any recommender system dataset (such as Netflix, MovieLens,...) into a sequential dataset. Then, we explicit a strong and insightful link between contextual bandit algorithms and matrix factorization; this leads us to a new algorithm that tackles the exploration/exploitation dilemma associated to the cold start problem in a strikingly new perspective. Finally, experimental evidence confirm that our algorithm is effective in dealing with the cold start problem on publicly available datasets. Overall, the goal of this paper is to bridge the gap between recommender systems based on matrix factorizations and those based on contextual bandits.

研究の動機と目的

• ユーザーまたはアイテムに文脈的情報が利用できない状況におけるレコメンデーションシステムのコールドスタート問題に対処すること。
• 従来の行列分解ベースのレコメンデーションシステムと、文脈的バンディットのようなオンラインで逐次的な意思決定フレームワークとのギャップを埋めること。
• ユーザーおよびアイテムの相互作用の初期段階において、探索と活用のバランスをとる効率的でオンラインなアルゴリズムを設計すること。
• 不確実性に基づく探索戦略が、初期段階のレコメンデーションパフォーマンスを向上させるかどうかを評価すること。
• 最小限の計算コストで、実世界のウェブ規模のアプリケーションへの実用的導入を可能にする。

提案手法

• MovieLens や Netflix などの静的でバッチ処理された行列分解データセットを、ユーザー・アイテム相互作用の順序をシミュレートすることで、逐次的意思決定ストリームに変換する。
• 各ユーザーおよびアイテムを行列分解からの潜在ベクトルで表現する文脈的バンディットフレームワークを適用し、行動はアイテムのレコメンデーションに対応する。
• 潜在要因推定の不確実性から導かれる信頼区間を用いて探索を誘導する——レーティング数が少ないユーザーまたはアイテムを優先的に探索する。
• 2つのバリエーションを実装：BeWARE.Item（アイテムの不確実性に基づく探索）およびBeWARE.User（ユーザーの不確実性に基づく探索）。
• 行列分解に交替最小自乗法（ALS-WR）を採用し、時間ステップごとにインクリメンタルに更新することで計算コストを低く保つ。
• 潜在要因を文脈とみなすことで、行列分解と文脈的バンディットの間の整合的な接続を確立し、信頼区間を探索信号として活用する。

実験結果

リサーチクエスチョン

• RQ1 側面情報に依存せずに、コールドスタート問題に文脈的バンディットフレームワークを効果的に適応できるか？
• RQ2 潜在要因空間における不確実性に基づく探索は、初期段階のレコメンデーションパフォーマンスにおいて、グリーディーや一様な探索と比較してどのように差をつけるか？
• RQ3 コールドスタート状況において、アイテムの不確実性に基づく探索とユーザーの不確実性に基づく探索の影響は何か？
• RQ4 実世界のデータセットにおけるアイテム数およびユーザー数の増加に伴い、提案手法のレグレット（後悔）はどのように変化するか？
• RQ5 ウェブ規模のシステムにおけるリアルタイム導入に耐える十分な低コストで、オンラインバンディット適合の計算コストを維持できるか？

主な発見

• アイテムの不確実性に基づく探索を行うBeWARE.Itemは、NetflixおよびMovieLensデータセットにおいて、グリーディなベースラインや他の探索戦略を常に上回る性能を示す。
• BeWARE.Userは、Netflixデータセットにおいて唯一、そのグリーディな対応（Greedy.ALS-WR）に劣る性能を示しており、初期段階の探索においてユーザーレベルの不確実性が効果的でない可能性を示唆している。
• UCB.on.all.usersは、Netflixデータセットにおいて驚くほど良好な性能を示す。これは、データセットが上位250本のヒット作品に集中しているため、ユーザーの好みが強く相関しており、個別化された探索の必要性が低いことが要因である。
• BeWAREのレグレットはアイテム数ではなく因子分解次元に比例して増加するため、大規模なアイテムカタログではグローバルUCB戦略よりもスケーラブルである。
• BeWAREの計算コストは、単一のALS-WRイテレーションとほぼ同等であり、インクリメンタルな更新により、効率的なオンライン導入が可能である。
• 実験結果から、不確実性駆動探索が初期段階のレコメンデーションパフォーマンスを顕著に向上させることを確認し、実世界のコールドスタート状況におけるアルゴリズムの有効性を裏付けた。