[論文レビュー] Deep Reinforcement Learning for List-wise Recommendations

Xiangyu Zhao, Liang Zhang+4 more|arXiv (Cornell University)|Dec 30, 2017

Recommender Systems and Techniques参考文献 32被引用数 109

ひとこと要約

この論文はオンライン環境シミュレータを用いた actor-critic 架構を活用し、オフライン学習をオンライン展開前に訓練・評価できる深層強化学習フレームワーク (LIRD) を提案し、実データの eコマースでベースラインより改善を示す。

ABSTRACT

Recommender systems play a crucial role in mitigating the problem of information overload by suggesting users' personalized items or services. The vast majority of traditional recommender systems consider the recommendation procedure as a static process and make recommendations following a fixed strategy. In this paper, we propose a novel recommender system with the capability of continuously improving its strategies during the interactions with users. We model the sequential interactions between users and a recommender system as a Markov Decision Process (MDP) and leverage Reinforcement Learning (RL) to automatically learn the optimal strategies via recommending trial-and-error items and receiving reinforcements of these items from users' feedbacks. In particular, we introduce an online user-agent interacting environment simulator, which can pre-train and evaluate model parameters offline before applying the model online. Moreover, we validate the importance of list-wise recommendations during the interactions between users and agent, and develop a novel approach to incorporate them into the proposed framework LIRD for list-wide recommendations. The experimental results based on a real-world e-commerce dataset demonstrate the effectiveness of the proposed framework.

研究の動機と目的

• 動的で長期的な最適化の必要性を、静的・短期戦略を超えてリコメンダーシステムに対して動機づける。
• MDPとしてユーザーとリコメンダーの相互作用をモデル化し、時間とともに累積報酬を最大化する。
• オンライン環境シミュレータを開発し、オフライン事前訓練と評価をオンライン展開前に可能にする。
• 大規模でダイナミックなアイテム空間を扱うリストワイズでスケーラブルな RL フレームワーク (LIRD) を導入する。
• 実データの eコマースでリストワイズ推奨の有効性を示す。

提案手法

• リコメンダーをMDPとしてモデル化し、状態 s をユーザーの閲覧履歴、アクション a を推奨アイテム K 個のリスト、報酬 r をユーザーのフィードバック、割引因子 gamma。
• オンライン環境シミュレータを用いて、(state, action) の組を報酬へマッピングし、歴史的記憶とコサイン類似度を利用してオフライン訓練を可能にする。
• Actorがアイテムをスコア付けする状態特有の重みベクトルを生成し、リストワイズなアクションを生み出す Actor-Critic アーキテクチャを使用。Critic は deep Q-network 近似で Q(s,a) を推定。
• 経験再生、ターゲットネットワーク、優先サンプリングを用いて Deep Deterministic Policy Gradient (DDPG) で訓練。
• 二段階の訓練手順を採用: 相互作用から転移を生成し、ミニバッチで Actor と Critic ネットワークを更新。
• リストワイズ戦略を評価するために K を変化させ、実データセットで CF, FM, DNN, RNN, DQN ベースラインと比較。

実験結果

リサーチクエスチョン

• RQ1 提案フレームワークはアイテム推奨タスクで代表的なベースラインを上回るか。
• RQ2 長期シナリオにおけるパフォーマンスに対するリストワイズ推奨（K の変化）はどう影響するか。
• RQ3 オンラインシミュレータは信頼できるオフライン事前学習を提供し、オンライン展開とのギャップを縮小できるか。

主な発見

• 提案フレームワークは短いセッションと長いセッションの両方でベースラインを上回り、長期報酬最適化によって長いセッションでより大きな利得を得る。
• リストワイズ推奨（K=4）は他のK値より良い性能を示し、アイテム間の相関を捉えることとノイズを避けるバランスを示唆。
• LIRD は DQN より訓練が速く、全アクションを評価することを避けることで計算を削減し、同程度かそれ以上の性能を達成。
• オンラインシミュレータはオフラインでの訓練と評価を可能にし、オフライン–オンラインのギャップを緩和し、オンライン使用のパラメータ初期化を容易にする。
• 歴史的ユーザー-アイテム埋め込みとアイテム履歴を使用すると、ユーザーの好みのモデル化とスケーラビリティが向上。