[論文レビュー] A Text-based Deep Reinforcement Learning Framework for Interactive Recommendation

Chaoyang Wang, Zhiqiang Guo+3 more|arXiv (Cornell University)|Apr 14, 2020

Recommender Systems and Techniques参考文献 30被引用数 8

ひとこと要約

本稿では、データスパarsityを軽減するために事前学習済み単語埋め込みを活用し、ユーザークラスタリングされたアクション候補集合上で動的に学習された方策ベクトルを用いることで、効率的で高性能なTop-kインタラクティブ推薦を実現する、テキストベースの深層強化学習フレームワークTDDPG-Recを提案する。本手法は、既存のRLベースの手法と比較して顕著に効率性が向上した状態の最先端性能を達成する。

ABSTRACT

Due to its nature of learning from dynamic interactions and planning for long-run performance, reinforcement learning (RL) recently has received much attention in interactive recommender systems (IRSs). IRSs usually face the large discrete action space problem, which makes most of the existing RL-based recommendation methods inefficient. Moreover, data sparsity is another challenging problem that most IRSs are confronted with. While the textual information like reviews and descriptions is less sensitive to sparsity, existing RL-based recommendation methods either neglect or are not suitable for incorporating textual information. To address these two problems, in this paper, we propose a Text-based Deep Deterministic Policy Gradient framework (TDDPG-Rec) for IRSs. Specifically, we leverage textual information to map items and users into a feature space, which greatly alleviates the sparsity problem. Moreover, we design an effective method to construct an action candidate set. By the policy vector dynamically learned from TDDPG-Rec that expresses the user's preference, we can select actions from the candidate set effectively. Through experiments on three public datasets, we demonstrate that TDDPG-Rec achieves state-of-the-art performance over several baselines in a time-efficient manner.

研究の動機と目的

• インタラクティブレコメンデーションシステム（IRSs）における大きな離散的アクション空間とデータスパarsityの問題に対処すること。
• 意思決定の時間計算量を低減することで、強化学習ベースのレコメンデーションの効率を向上させること。
• テキスト情報（例：レビュー、説明文）を、IRSsにおける深層強化学習に効果的に統合すること。
• 方策ベクトルとアクション候補集合を用いて、時間効率と高いパフォーマンスを実現するTop-kレコメンデーションを可能にすること。

提案手法

• データスパarsityを軽減するために、ユーザーとアイテムを共有の連続的特徴空間に事前学習済み単語ベクトルを用いて埋め込む。
• ユーザーの好みのパターンに基づいてK-meansクラスタリングを適用し、パーソナライズされた候補集合の構築を可能にする。
• ユーザーの履歴とクラスターメンバーシップに基づき、協調フィルタリングの原則を用いて、ポジティブ、ネガティブ、通常のアイテムを含むアクション候補集合を構築する。
• 深層決定的方策勾配（DDPG）フレームワークを用い、特徴空間におけるユーザーの好みを動的に学習された方策ベクトルで表現する。
• 方策ベクトルとアイテムベクトルのドット積を用いて、候補集合からTop-kアイテムを選択してレコメンデーションする。
• オンライン学習の計算コストが高いため、オフラインでのモデル訓練と評価のためにシミュレータを用いる。

実験結果

リサーチクエスチョン

• RQ1 テキスト情報は、深層強化学習におけるインタラクティブレコメンデーションに効果的に統合可能であり、データスパarsityの緩和に寄与するか？
• RQ2 IRSsにおける大きな離散的アクション空間は、意思決定の速度を向上させるためにどのように効率的に管理可能か？
• RQ3 DDPGから学習された方策ベクトルは、連続的特徴空間におけるユーザーの好みをTop-kレコメンデーションに効果的に表現できるか？
• RQ4 ユーザークラスタリングと候補集合の組み合わせは、効率性とレコメンデーション精度の両方を向上させるか？

主な発見

• TDDPG-Recは、HR@10およびnDCG@10の指標において、3つの公開データセットで最先端のパフォーマンスを達成し、既存のRLベースのベースラインを上回った。
• 候補集合と方策ベクトルを用いることで意思決定の時間計算量を顕著に低減し、DDPG-kNNおよびTPGRと比較して効率性が優れた。
• 特徴空間次元（D）を高くし、クラスタ数（n_cl）を増やすことでパフォーマンスが向上した。これは、より良い表現学習とユーザーの差別化が可能であることを示している。
• 候補集合サイズ（n_c）を増やすと、アンバランスサンプリングの影響でパフォーマンスが低下した一方、ポジティブアイテムの割合（α）を増やすと、ある飽和点までパフォーマンスが向上した。
• 状態サイズ（n_s）の増加はパフォーマンスにほとんど影響を与えなかったが、アクションサイズ（n_a）を大きくすることでパフォーマンスが向上した。これは、より頻繁な状態遷移が可能になったためである。