[論文レビュー] Deep Reinforcement Learning based Recommendation with Explicit User-Item Interactions Modeling

Feng Liu, Ruiming Tang+6 more|arXiv (Cornell University)|Oct 29, 2018

Recommender Systems and Techniques参考文献 38被引用数 82

ひとこと要約

この論文は推奨を逐次決定プロセスとして位置づけ、Actor-Critic DRLフレームワーク（DRR）と、ユーザー-アイテム相互作用を明示的にモデル化する状態表現モジュールを用いて、即時報酬と長期報酬の両方を最適化する。

ABSTRACT

Recommendation is crucial in both academia and industry, and various techniques are proposed such as content-based collaborative filtering, matrix factorization, logistic regression, factorization machines, neural networks and multi-armed bandits. However, most of the previous studies suffer from two limitations: (1) considering the recommendation as a static procedure and ignoring the dynamic interactive nature between users and the recommender systems, (2) focusing on the immediate feedback of recommended items and neglecting the long-term rewards. To address the two limitations, in this paper we propose a novel recommendation framework based on deep reinforcement learning, called DRR. The DRR framework treats recommendation as a sequential decision making procedure and adopts an "Actor-Critic" reinforcement learning scheme to model the interactions between the users and recommender systems, which can consider both the dynamic adaptation and long-term rewards. Furthermore, a state representation module is incorporated into DRR, which can explicitly capture the interactions between items and users. Three instantiation structures are developed. Extensive experiments on four real-world datasets are conducted under both the offline and online evaluation settings. The experimental results demonstrate the proposed DRR method indeed outperforms the state-of-the-art competitors.

研究の動機と目的

• 推奨を静的なものではなく、動的で逐次的な意思決定プロセスとしてモデル化する動機付け。
• 即時フィードバックを超える長期報酬を推奨に組み込む。
• ユーザー-item相互作用を捉える明示的な状態表現モジュールを開発する。
• 相互作用を効果的にモデル化するための state 表現の3つの実装を提案する。
• 実世界データセットにおいて、DRRが最先端ベースラインより優れていることを示す。

提案手法

• 状態をユーザ履歴、アクションを連続的なランキングベクトルとするMDPとして推奨をモデル化する。
• アクターがアイテムをスコアリングするランキングパラメータを出力する、Actor-Criticフレームワーク（DDPG）を使用する。
• 状態-アクションペアのQ値を推定し、Actorの更新を導くCriticネットワークを用いる。
• ユーザー-item相互作用を明示的に捉える状態表現モジュールを導入する。
• 複合的な対相互作用とユーザー-items相互作用をモデル化する、3つのDRR状態構造（DRR-p, DRR-u, DRR-ave）を提供する。
• experience replayとターゲットネットワークで訓練し、評価にはオフラインログまたは環境シミュレータを使用する。

実験結果

リサーチクエスチョン

• RQ1 DRRは推奨の動的で逐次的なユーザー嗜好を効果的にモデル化できるか？
• RQ2 状態表現でユーザー-item相互作用を明示的にモデル化することは、ベースラインより性能を向上させるか？
• RQ3 異なるDRR状態構造（DRR-p, DRR-u, DRR-ave）は、相互作用の捕捉においてどのように比較されるか？
• RQ4 DRR法は実世界データセットで従来のレコメンダシステムや既存のRLベース手法を上回るか？
• RQ5 オフラインおよびシミュレーターを用いたオンライン評価は、推奨における長期報酬の利点を明らかにできるか？

主な発見

• DRRはオフライン評価（Precision@k, NDCG@k）およびシミュレートされたオンライン報酬で最先端ベースラインを上回る。
• 3つのDRR状態構造（DRR-p, DRR-u, DRR-ave）は、アイテムの順序付けとユーザーの影響力を異なる強調で、ユーザー-item相互作用を明示的にモデル化する。
• 本フレームワークは優先度付き経験再生とターゲットネットワークを用いたActor-Critic（DDPG）アプローチである。
• 状態表現モジュールは、最近のポジティブな相互作用とアイテム埋め込みから要約されたユーザ状態を学習し、ランキングアクションを生成する。
• 評価は4つの実世界データセットで行われ、提案手法が競合手法より優れた性能を示す。