[論文レビュー] Reinforcement learning based recommender systems: A survey

M. Mehdi Afsar, Trafford Crump+1 more|arXiv (Cornell University)|Jan 15, 2021

Recommender Systems and Techniques被引用数 8

ひとこと要約

本サーベイは強化学習に基づくレコメンデーションシステム（RLRS）について包括的な概要を提供し、従来の強化学習とディープ強化学習（DRL）の2つのアプローチに分類する。4要素フレームワーク（状態表現、方策最適化、報酬設計、環境構築）を導入し、主要なアルゴリズム、課題、トレンドを分析する。特にDRLがスケーラビリティと長期的なユーザーエンゲージメントに与える変革的影響に焦点を当てる。

ABSTRACT

Recommender systems (RSs) have become an inseparable part of our everyday lives. They help us find our favorite items to purchase, our friends on social networks, and our favorite movies to watch. Traditionally, the recommendation problem was considered to be a classification or prediction problem, but it is now widely agreed that formulating it as a sequential decision problem can better reflect the user-system interaction. Therefore, it can be formulated as a Markov decision process (MDP) and be solved by reinforcement learning (RL) algorithms. Unlike traditional recommendation methods, including collaborative filtering and content-based filtering, RL is able to handle the sequential, dynamic user-system interaction and to take into account the long-term user engagement. Although the idea of using RL for recommendation is not new and has been around for about two decades, it was not very practical, mainly because of scalability problems of traditional RL algorithms. However, a new trend has emerged in the field since the introduction of deep reinforcement learning (DRL), which made it possible to apply RL to the recommendation problem with large state and action spaces. In this paper, a survey on reinforcement learning based recommender systems (RLRSs) is presented. Our aim is to present an outlook on the field and to provide the reader with a fairly complete knowledge of key concepts of the field. We first recognize and illustrate that RLRSs can be generally classified into RL- and DRL-based methods. Then, we propose an RLRS framework with four components, i.e., state representation, policy optimization, reward formulation, and environment building, and survey RLRS algorithms accordingly. We highlight emerging topics and depict important trends using various graphs and tables. Finally, we discuss important aspects and challenges that can be addressed in the future.

研究の動機と目的

• 2018年現在における強化学習ベースのレコメンデーションシステム（RLRS）について、包括的かつ最新の概要を提供すること。
• RLRS手法を強化学習ベースとDRLベースのアプローチに分類し、ディープラーニングの影響による移行を強調すること。
• RLRSの体系的分析を可能にする4要素フレームワーク（状態表現、方策最適化、報酬設計、環境構築）を提唱すること。
• 分野特有の評価指標の欠如、公開データセットの限界、コード再現性の低さといった主な課題を特定すること。
• 将来の研究を導くために、シミュレータ開発やアルゴリズム選定といった、新たなトレンドと未解決の問題を提示すること

提案手法

• RLRSの4要素フレームワーク（状態表現、方策最適化、報酬設計、環境構築）を提唱する。
• 既存のRLRS手法を主に2つのカテゴリに分類する：従来の強化学習ベースとディープ強化学習（DRL）ベースの手法。
• 詳細な表と比較分析を通じてRLRSアルゴリズムを分析し、状態表現技術、方策学習手法（例：Q学習、DQN、PPO）、報酬形状戦略に焦点を当てる。
• 97編のサーベイ対象論文を用いた文献計測分析により、出版動向、会議・ジャーナルの分布、出版形式（例：arXiv、カンファレンス、ジャーナル）を調査する。
• 評価指標の普及度（例：正確率、再現率）、一般的に使用されるデータセット（例：MovieLens）、コード共有率といった指標を用いて分野の現状を評価する。
• OpenAI Gymに類似した標準的かつ汎用的なシミュレーション環境の必要性を提唱し、再現性とオフライン評価の向上を図る

実験結果

リサーチクエスチョン

• RQ1 ディープ強化学習（DRL）手法は、従来の強化学習と比較して、強化学習ベースのレコメンデーションシステムの分野にどのように変化をもたらしたか？
• RQ2 堅牢なRLRSフレームワークの主な構成要素は何であり、それらがシステムのパフォーマンスと設計にどのように影響を与えるか？
• RQ3 なぜRLRSにおいて分野特有の評価指標が不足しているのか、その結果、モデル比較やベンチマークにどのような影響があるのか？
• RQ4 RLRS研究における再現性と一般化の主な課題は何であり、それらをどのように軽減できるか？
• RQ5 公開データセットとシミュレーション環境はRLRSの発展にどのような役割を果たしており、どのような改善が求められているか？

主な発見

• ディープ強化学習（DRL）の登場により、大規模な状態空間と行動空間に対するスケーラブルな解決策が可能となり、従来の強化学習が抱えていたスケーラビリティの制限が克服された。
• MovieLensはRLRS研究で最も広く使われているデータセットであるが、研究者の約16％しか実装コードを共有していないため、分野全体の再現性が低いことが示唆されている。
• RLRSに特化した評価指標が不足している。多くの指標は情報検索分野から借用されており、報酬は一般的に使われているが、標準化されていない。
• Recogym や PyRecGym といった新興ツールは存在するものの、統一的かつ汎用的なRLRS用シミュレーション環境がまだ存在しないため、ベンチマーク基準の確立が急務である。
• 2015年以降の出版動向の増加から関心の高まりがうかがえるが、RLRSは依然として始まったばかりであり、アルゴリズム選定、報酬設計、環境モデリングの面で大きな課題を抱えている。
• 特定のRLアルゴリズム（例：Q学習）がRLRS応用でより人気である理由を理解する分野のギャップが明らかであり、アルゴリズムと応用の整合性を体系的に分析する必要があると示唆している。