[論文レビュー] A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions

Xiaocong Chen, Lina Yao+3 more|arXiv (Cornell University)|Sep 8, 2021

Reinforcement Learning in Robotics参考文献 134被引用数 20

ひとこと要約

本サーベイは、レコメンデーションシステムにおける深層強化学習（DRL）について包括的かつ体系的なレビューを提供し、既存の手法を分類し、その長所と短所を分析し、新たなトレンドと未解決の課題を特定する。統一された分類法を提示し、A2C、TD3、SACといった主要なDRLアルゴリズムを強調するとともに、インタラクティブで動的レコメンデーションシステムを進化させるための今後の研究方向性を提示する。

ABSTRACT

In light of the emergence of deep reinforcement learning (DRL) in recommender systems research and several fruitful results in recent years, this survey aims to provide a timely and comprehensive overview of the recent trends of deep reinforcement learning in recommender systems. We start with the motivation of applying DRL in recommender systems. Then, we provide a taxonomy of current DRL-based recommender systems and a summary of existing methods. We discuss emerging topics and open issues, and provide our perspective on advancing the domain. This survey serves as introductory material for readers from academia and industry into the topic and identifies notable opportunities for further research.

研究の動機と目的

• 既存のサーベイがDRL固有の技術について十分に深く扱わないというギャップを埋めるために、DRLの応用に関するタイムリーで体系的な概要を提供すること。
• 静的学習データと分布シフトの問題により、従来のディープラーニングベースのレコメンデーションシステムが動的ユーザー嗜好を適切に捉えられないという制限を克服すること。
• 独自の構造的分類法を用いて、既存のDRLベースのレコメンデーションシステムを分類・分析し、手法論的差異や設計選択の明確化を図ること。
• オフラインDRL、メタ-DRL、アクタクリティック改善といった新たなトピックを特定し、一般化、探索、実世界への展開における未解決問題を強調すること。
• 研究者および実務家を支援するため、今後の有望な研究方向性（一般化の向上、サンプル効率、動的環境におけるロバストネス）を提示すること。

提案手法

• DRLベースのレコメンデーションシステムの分類法を提案し、環境構築、状態表現、方策学習メカニズムの観点から手法を分類する。
• アドバンテージアクタクリティック（A2C）、ツイン・ディレイド DDPG（TD3）、トラスト領域方策最適化（TRPO）、プロキシマル方策最適化（PPO）、ソフトアクタクリティック（SAC）といったコアなDRLアルゴリズムをレビューし、訓練の安定化とサンプル効率の向上における役割を強調する。
• オフラインDRL（バッチDRL）を分析し、オンライン相互作用なしに履歴相互作用データから学習できる方法として、新しいシナリオへの一般化を可能にする。
• メタ-DRLを検討し、メモリユニット（例：RNN）を用いてタスク間で知識を保存・転送することで、データ要件を低減し、フェイシュート適応性を向上させる。
• アドバンテージ関数とエントロピー正則化（SACにおけるように）を用いて、方策学習における探索と活用のバランスを最適化する。
• オフポリシーとオンポリシーの学習パラダイムの知見を統合し、データ可用性や相互作用制約に応じて、レコメンデーションタスクにおける適性を比較分析する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、静的学習データにおける分布シフト問題を克服し、時間とともに変化する動的ユーザー嗜好を効果的にモデル化するにはどのようにすればよいか？
• RQ2 成功したDRLベースのレコメンデーションシステムを特徴づける主なアーキテクチャ的・アルゴリズム的要素は何か。それらは性能と安定性にどのように寄与しているか？
• RQ3 オフラインDRLおよびメタ-DRLアプローチは、リアルタイム相互作用が制限されたりないレコメンデーションシステムにおいて、一般化とサンプル効率をどのように向上させるか？
• RQ4 DRLを実世界のレコメンデーションシステムに適用するにあたり、主な課題は何か。特に、探索と活用のトレードオフ、方策の安定性、スケーラビリティの観点から。
• RQ5 工業的環境での展開を念頭に置いた場合、DRLベースのレコメンデーションシステムを進化させるために、どの研究方向性が最も有望か？（ロバストネス、解釈可能性、実装性の観点から）

主な発見

• 本サーベイは、DRLをレコメンデーションシステムに応用する分野における、包括的かつ体系的なレビューを初めて提供し、既存手法の構造的分類法と分類を提示している。
• A2C、TD3、PPO、SACといったアクタクリティカルメソッドは、基本的なポリシー勾配法に比べ、訓練の安定性とサンプル効率を著しく向上させる。
• オフラインDRLは、オンライン相互作用なしに大規模な履歴データセットから学習できるため、リアルタイム展開がコスト高またはリスクの高い産業応用に適している。
• メタ-DRLは、メモリ機構を活用してタスク間で知識を転送することで、フェイシュート適応性を向上させ、データ依存性を低減する点で有望である。
• SACにおけるエントロピー正則化の活用は探索を強化し、報酬が希少な場合やアクション空間が複雑な環境において特に効果的である。
• 進展は見られるものの、分布シフトの処理、方策の一般化の確保、実世界の動的レコメンデーションシナリオにおけるロバストなパフォーマンスの実現という課題は依然として残っている。