[論文レビュー] RL4RS: A Real-World Benchmark for Reinforcement Learning based Recommender System.

Kai Wang, Zhene Zou+7 more|arXiv (Cornell University)|Oct 18, 2021

Reinforcement Learning in Robotics参考文献 2被引用数 13

ひとこと要約

本稿では、現実の産業データを用いて構築された強化学習ベースのレコメンデーションシステムのための実世界ベンチマーク、RL4RSを紹介する。既存のベンチマークにおける現実性のギャップを埋めるために開発された本研究は、本物のデータセット、チューニングされたシミュレーション環境、高度な強化学習ベースライン、および反事実的評価ツールを提供することで、実際の展開環境における方策の一般化と検証を向上させる。

ABSTRACT

Reinforcement learning based recommender systems (RL-based RS) aims at learning a good policy from a batch of collected data, with casting sequential recommendation to multi-step decision-making tasks. However, current RL-based RS benchmarks commonly have a large reality gap, because they involve artificial RL datasets or semi-simulated RS datasets, and the trained policy is directly evaluated in the simulation environment. In real-world situations, not all recommendation problems are suitable to be transformed into reinforcement learning problems. Unlike previous academic RL researches, RL-based RS suffer from extrapolation error and the difficulties of being well validated before deployment. In this paper, we introduce the RL4RS (Reinforcement Learning for Recommender Systems) benchmark - a new resource fully collected from industrial applications to train and evaluate RL algorithms with special concerns on the above issues. It contains two datasets, tuned simulation environments, related advanced RL baselines, data understanding tools, and counterfactual policy evaluation algorithms. The RL4RS suit can be found at this https URL. In addition to the RL-based recommender systems, we expect the resource to contribute to research in reinforcement learning and neural combinatorial optimization.

研究の動機と目的

• 人工的または準シミュレートされたデータセットに代えて実産業データを用いることで、既存の強化学習ベースのレコメンデーションシステムベンチマークにおける現実性のギャップを解消すること。
• 実際の展開課題を反映する現実的な環境において、強化学習方策の信頼性ある評価を可能にすること。
• 外挿誤差を軽減し、実世界のレコメンデーションシステムにおける方策の一般化を向上させるためのツールとベースラインを提供すること。
• 生産環境準拠のベンチマークリソースを通じて、強化学習およびニューラル組合せ最適化分野の研究を支援すること。
• 本番環境への展開前に方策を検証できる反事実的方策評価を促進すること。

提案手法

• 実際の産業応用から直接収集した2つの実世界データセットを用いて、本物のユーザー行動シーケンスとアイテム行動を表現すること。
• 収集したデータに基づいて、実世界のレコメンデーションシステムのダイナミクスを正確に反映するチューニング済みのシミュレーション環境を設計すること。
• 順序付きレコメンデーションタスクに特化した高度な強化学習ベースラインを統合し、強力な性能ベンチマークとしての役割を果たすこと。
• ベンチマーク内のユーザー行動パターン、アイテムの人気度、相互作用の分布を分析するためのデータ理解ツールを開発すること。
• オンライン展開なしで方策のパフォーマンスを推定できる反事実的方策評価アルゴリズムを実装し、本番環境でのリスクを低減すること。
• 再現可能性とコミュニティ利用を促進するため、公開URLを通じてアクセス可能な統合的かつオープンソースのリソースとしてRL4RSスイートを構造化すること。

実験結果

リサーチクエスチョン

• RQ1 RL4RSベンチマークにおける方策のパフォーマンスは、合成的またはシミュレートされたベンチマークと比較して、現実世界への一般化においてどのように異なるか？
• RQ2 反事実的評価は、本番環境における強化学習方策のパフォーマンスをどの程度正確に予測できるか？
• RQ3 実世界の強化学習ベースのレコメンデーションシステムでは、外挿誤差はどのように現れるのか。また、提案されたベンチマークツールを用いることでそれらを軽減できるか？
• RQ4 人工データセットではなく実産業データで学習させた場合と、その逆の場合とで、方策の行動と一般化にどのような主な差が生じるか？
• RQ5 RL4RSベンチマークは、レコメンデーションシステムを越えて、強化学習およびニューラル組合せ最適化分野における有意義な進展を支援できるか？

主な発見

• RL4RSベンチマークは、合成的または準シミュレートされたデータセットではなく実産業データを用いることで、現実性のギャップを顕著に低減している。
• RL4RSに統合された反事実的方策評価手法は、オフラインでのパフォーマンス推定と強く整合しており、方策検証への信頼性を高めている。
• 人工ベンチマークで学習した方策と比較して、RL4RSで学習した方策は一般化性能が向上し、外挿誤差も低減している。
• 本ベンチマークは、強化学習ベースのレコメンデーションシステムのより信頼性の高い、再現可能な評価を可能にし、生産環境への安全な展開を支援している。
• 実世界のデータとチューニング済みのシミュレーション環境の提供により、ユーザー行動および方策ダイナミクスのより正確な分析が可能になった。
• RL4RSスイートは、レコメンデーションシステムを越えて強化学習およびニューラル組合せ最適化分野における研究を支援する。