[論文レビュー] Handling Cold-Start Collaborative Filtering with Reinforcement Learning

Hima Varsha Dureddy, Zachary Kaden|arXiv (Cornell University)|Jun 16, 2018

Recommender Systems and Techniques参考文献 11被引用数 5

ひとこと要約

本稿では、映画レコメンデーションシステムにおけるコールドスタートユーザー向けに、深層強化学習を用いたアプローチを提案する。Deep Q Network（DQN）を用い、各ステップでの情報量の最大化を目指してインタビューの質問を最適化する。Q-Embeddingモデルは、ユーザー埋め込み誤差を直接最小化することで、先行手法を上回り、より低いRMSEを達成するとともに、より長いインタビューに対しても一般化性を示す。また、アクティブラーニングとウォームスタートユーザーへの適応が可能である。

ABSTRACT

A major challenge in recommender systems is handling new users, whom are also called $ extit{cold-start}$ users. In this paper, we propose a novel approach for learning an optimal series of questions with which to interview cold-start users for movie recommender systems. We propose learning interview questions using Deep Q Networks to create user profiles to make better recommendations to cold-start users. While our proposed system is trained using a movie recommender system, our Deep Q Network model should generalize across various types of recommender systems.

研究の動機と目的

• 新規ユーザーが履歴的評価を所有していないため生じる協調フィルタリングにおけるコールドスタート問題に対処すること。
• 正確なユーザー評価を構築するための最適な質問シーケンスを学習する、適応型インタビューシステムを設計すること。
• 強化学習を活用して、各インタビューステップでの情報量の最大化を図り、推薦品質の向上を実現すること。
• 映画レコメンデーションにとどまらず、他の種類のレコメンデーションシステムへの一般化を可能にすること。
• 動的なインタビュー終了または継続のためのマージナル情報量の推定を可能にし、アクティブラーニングを実現すること。

提案手法

• 本手法は、ユーザーの好みに関する期待される情報量の増加を最大化する質問を選択するため、Deep Q Network（DQN）を用いる。
• コールドスタートユーザーのユーザー埋め込みは、予測されたユーザー埋め込みとBPMFで推定されたユーザー埋め込みのMSEを最小化することで学習される（Q-Embeddingモデル）。
• 代替的なQ-Ratingモデルは、予測された映画評価を直接RMSE最小化するように設計され、予測評価を報酬信号として使用する。
• DQNは、学習の安定化のため経験再生とターゲットネットワークを用いて訓練される。状態は過去の回答で定義され、行動は映画の質問として定義される。
• モデルは異なる長さのインタビューにも一般化可能であり、より長いインタビューで訓練された場合に性能が向上する。
• DQNのQ値はアクティブラーニングを可能にする：推定された情報量に応じて、質問を動的に選択またはスキップできる。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いて、コールドスタートユーザー向けの最適な質問シーケンスを学習することは効果的に行えるか？
• RQ2 DQNベースのインタビューサイズ戦略は、従来の意思決定木ベースの手法と比較して、推薦精度および適応性において優れているか？
• RQ3 3つの質問で訓練されたDQNモデルは、4つの質問を要するインタビューに対しても一般化可能か？
• RQ4 既存の評価に基づく文脈に配慮した質問を生成することで、ウォームスタートユーザーに対してもモデルを適用可能か？
• RQ5 推定されたQ値は、インタビューを終了するか継続するかを判断するためのアクティブラーニングを支援できるか？

主な発見

• Q-EmbeddingモデルはQ-Ratingモデルよりも低いRMSEを達成し、4番目の質問を追加した際には2e-3の低下を示し、ユーザー埋め込み学習における優れた性能を示した。
• Q-RatingモデルはQ-Embeddingモデルと比較して約3倍の訓練時間を要し、特にNetflixのような大規模データセットでは、後者の方がスケーラビリティに優れている。
• 3つの質問のインタビューで訓練されたにもかかわらず、両モデルとも4つの質問のインタビューに良好に一般化された。これは、強力な一般化能力を示している。
• Q-Embeddingモデルの100ユーザーあたりの訓練時間はデータセットサイズに依存しないため、Q-Ratingモデルよりもスケーラビリティに優れていると示唆された。
• DQNベースのアプローチは、マージナル情報量の推定によりアクティブラーニングを可能にし、コールドスタートおよびウォームスタートユーザーの両方における動的なインタビュー制御を可能にした。
• 本モデルは既存の手法を上回り、映画推薦に限らず、さまざまな種類のレコメンデーションシステムに応用可能である。