[論文レビュー] Cold-start Problems in Recommendation Systems via Contextual-bandit Algorithms

Nguyễn Thanh Hải, Jérémie Mary+1 more|arXiv (Cornell University)|May 29, 2014

Advanced Bandit Algorithms Research参考文献 12被引用数 8

ひとこと要約

本稿では、付加的情報を必要とせず、過去のユーザーレーティングを文脈として活用することで、レコメンデーションシステムにおけるコールドスタート問題を解決する、A-LinUCBという文脈バンディット手法を提案する。Movielens、Netflix、Yahoo!Musicのデータセットにおいて、累積的後悔がベースラインのバンディットアルゴリズムを著しく上回り、新規ユーザーや新規アイテムに対する推薦性能が優れていることが示された。

ABSTRACT

In this paper, we study a cold-start problem in recommendation systems where we have completely new users entered the systems. There is not any interaction or feedback of the new users with the systems previoustly, thus no ratings are available. Trivial approaches are to select ramdom items or the most popular ones to recommend to the new users. However, these methods perform poorly in many case. In this research, we provide a new look of this cold-start problem in recommendation systems. In fact, we cast this cold-start problem as a contextual-bandit problem. No additional information on new users and new items is needed. We consider all the past ratings of previous users as contextual information to be integrated into the recommendation framework. To solve this type of the cold-start problems, we propose a new efficient method which is based on the LinUCB algorithm for contextual-bandit problems. The experiments were conducted on three different publicly-available data sets, namely Movielens, Netflix and Yahoo!Music. The new proposed methods were also compared with other state-of-the-art techniques. Experiments showed that our new method significantly improves upon all these methods.

研究の動機と目的

• 新規ユーザーや新規アイテムにインタラクション履歴がない状況におけるレコメンデーションシステムにおけるコールドスタート問題に対処すること。
• 年齢・性別などの側面情報やアイテムのコンテンツなどに依存せずに、探索と活用のバランスを取る手法を開発すること。
• ユーザーやアイテムの導入初期段階で、ユーザープreferencesを動的にモデル化することで、推薦品質を向上させること。
• 実世界のレコメンデーションシナリオにおいて、最先端のバンディットアルゴリズムと比較して、提案手法の性能を評価すること。

提案手法

• 著者らは、コールドスタート問題を文脈バンディット問題として定式化し、すべての過去のユーザーレーティングを文脈特徴として使用する。
• LinUCBアルゴリズムを拡張し、アイテム特徴と過去のフィードバックに基づいてユーザープreferencesを推定する線形モデルを組み込む。
• A-LinUCBは、探索と活用のトレードオフを制御する正則化パラメータαを導入し、α=0.001が性能向上をもたらすことが示された。
• アルゴリズムはユーザープreferencesの線形モデルを維持し、確率的勾配降下法を用いて逐次的に更新する。
• 文脈特徴は、過去のユーザーレーティング行列全体から得られ、過去のユーザーレコメンド相互作用を文脈として扱う。
• 信頼区間を用いて、探索（新しいアイテムの試行）と活用（期待リターンの高いアイテムの推薦）を動的にバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 側面情報が不要な状況で、文脈バンディットアプローチがコールドスタートのレコメンデーションシナリオにおける累積的後悔を効果的に低減できるか。
• RQ2 A-LinUCBは、ε-greedy、UCB、EXP3、Thompson samplingといった標準的なバンディットアルゴリズムと比較して、新規ユーザーや新規アイテムの状況でどのように性能を発揮するか。
• RQ3 正則化パラメータαのA-LinUCBアルゴリズムへの性能に与える影響は何か。
• RQ4 歴史的レーティングデータのみが、コールドスタートシステムにおける効果的な探索と活用を導くのに十分な文脈として機能するか。
• RQ5 提案手法は、Movielens、Netflix、Yahoo!Musicといった多様な実世界データセットにおいても、強力な性能を維持できるか。

主な発見

• Movielensでは、A-LinUCB（α=0.001）が累積的後悔3008.19を達成し、α=0のA-LinUCB（3491.39）を著しく下回った。
• Netflixでは、A-LinUCB（α=0.001）が累積的後悔3680にまで低下したのに対し、α=0では3857であった。
• Yahoo!Musicでは改善が最も顕著で、A-LinUCB（α=0.001）が989.56の後悔を記録した一方、α=0では1514.15であった。
• 提案手法は、ランダムポリシー、ε-greedy、UCB、EXP3、Thompson sampling、A-LinUCB（α=0）の6つのベースラインすべてを、3つのデータセットすべてで上回った。
• 結果から、歴史的レーティングを文脈として用いることで、効果的な探索が可能になり、高品質な推薦への収束が早くなることが示された。
• 本手法は、年齢・性別などのデモグラフィック情報やコンテンツベースの情報が不要であるため、データが乏しい実世界の展開に適している。