[論文レビュー] RecSim: A Configurable Simulation Platform for Recommender Systems

Eugene Ie, Chih‐Wei Hsu+6 more|arXiv (Cornell University)|Sep 11, 2019

Advanced Bandit Algorithms Research参考文献 59被引用数 51

ひとこと要約

RecSim は、シーケンシャル推奨システム環境を作成するための設定可能なオープンソースのシミュレーションプラットフォームを提供し、実システムにデプロイせずに RL/Rs 研究を可能にします。

ABSTRACT

We propose RecSim, a configurable platform for authoring simulation environments for recommender systems (RSs) that naturally supports sequential interaction with users. RecSim allows the creation of new environments that reflect particular aspects of user behavior and item structure at a level of abstraction well-suited to pushing the limits of current reinforcement learning (RL) and RS techniques in sequential interactive recommendation problems. Environments can be easily configured that vary assumptions about: user preferences and item familiarity; user latent state and its dynamics; and choice models and other user response behavior. We outline how RecSim offers value to RL and RS researchers and practitioners, and how it can serve as a vehicle for academic-industrial collaboration.

研究の動機と目的

• 制御可能な環境でシーケンシャルなユーザーと推奨エージェントの相互作用を研究できるようにする。
• さまざまなユーザー、アイテム、および応答ダイナミクスを迅速に実験できるようにして、RLとRSアルゴリズムのストレステストを行えるようにする。
• 学術界と産業界の再現性と協力を強化するオープンプラットフォームを提供する。
• 構成可能な環境とベースラインエージェントを通じてベンチマークと定性的分析を支援する。

提案手法

• 環境を、ユーザーモデル、ドキュメントモデル、およびユーザー選択モデルを含む動的ベイズネットワークとして定義する。
• スレートベースの推奨と、選択モデル（例：多項ロジット、指数カスケード）を通じた設定可能なユーザー応答を有効にする。
• OpenAI Gym 環境としてシミュレーターをラップし、RL 実験を容易にする。
• トラジェクトリのトレースを介したバッチRLサポートを含む、ロギングと評価パイプラインを組み込む。
• ベースエージェントと前処理/後処理層を組み合わせた階層的エージェントアーキテクチャを導入し、柔軟なポリシー設計を可能にする。
• API使用を示し、すぐにテストできるようにベースラインのRLおよびバンディットベースのエージェントを提供する。

実験結果

リサーチクエスチョン

• RQ1 多様なユーザー行動と状態ダイナミクスを反映するように推奨環境をどのように構成できるか？
• RQ2 構成可能なシミュレーションは、逐次設定におけるRL/RSアルゴリズムの開発と評価を加速できるか？
• RQ3 探索と堅牢性のために RecSim でのモデリングを最も効果的に支援するアーキテクチャパターン（例：階層的エージェント）は何か？
• RQ4 研究者と実務家間の再現性と協力を RecSim はいかに促進できるか？

主な発見

• RecSim は、シーケンシャルRS研究に適した、ユーザー・ドキュメント・選択ダイナミクスを備えたカスタマイズ可能な環境の作成を可能にする。
• このプラットフォームは、環境を OpenAI Gym のエンティティとしてラッピングし、バッチRLに適したロギングを提供することで RL 実験を支援する。
• 階層的エージェントインターフェースは、ベースエージェントと設定可能な前処理/後処理を組み合わせて、複雑な意思決定パイプラインのモデリングを可能にする。
• RecSim には SlateQ 風の環境や、API使用を示すためのさまざまなデフォルト環境とエージェントが含まれ、模範として機能する。
• このアーキテクチャは、実世界のシステムへの忠実性よりも、アルゴリズム開発と検証を促進するためのスタイライズされたストレステストモデルを強調する。