[論文レビュー] RecSim NG: Toward Principled Uncertainty Modeling for Recommender Ecosystems

Martin Mladenov, Chih‐Wei Hsu+8 more|arXiv (Cornell University)|Mar 14, 2021

Topic Modeling参考文献 62被引用数 9

ひとこと要約

RecSim NG は、Edward2 と TensorFlow に基づいて構築されたスケーラブルで微分可能かつ確率的シミュレーションプラットフォームであり、原理的で不確実性を適切に取り扱う多エージェントレコメンデーションエコシステムをモデル化することを目的としている。エコシステム全体の行動をエンドツーエンドでシミュレートでき、確率的推論を用いたポリシー評価と潜在モデルの学習を支援する。また、長期的なユーザーユーティリティ（161.34 対 130.77）において、最適なブーストキャップ（例：L=1.2）を持つエコシステムに配慮したポリシーが、短視眼的なポリシーに比べて顕著に優れていることを示している。

ABSTRACT

The development of recommender systems that optimize multi-turn interaction with users, and model the interactions of different agents (e.g., users, content providers, vendors) in the recommender ecosystem have drawn increasing attention in recent years. Developing and training models and algorithms for such recommenders can be especially difficult using static datasets, which often fail to offer the types of counterfactual predictions needed to evaluate policies over extended horizons. To address this, we develop RecSim NG, a probabilistic platform for the simulation of multi-agent recommender systems. RecSim NG is a scalable, modular, differentiable simulator implemented in Edward2 and TensorFlow. It offers: a powerful, general probabilistic programming language for agent-behavior specification; tools for probabilistic inference and latent-variable model learning, backed by automatic differentiation and tracing; and a TensorFlow-based runtime for running simulations on accelerated hardware. We describe RecSim NG and illustrate how it can be used to create transparent, configurable, end-to-end models of a recommender ecosystem, complemented by a small set of simple use cases that demonstrate how RecSim NG can help both researchers and practitioners easily develop and train novel algorithms for recommender systems.

研究の動機と目的

• 長期的な時間枠にわたる反事後的推論を必要とする非短視的かつインタラクティブなレコメンデーションシステムのトレーニングと評価において、静的データセットの限界を克服すること。
• ユーザーやコンテンツプロバイダー、レコメンデーションシステムの間で生じる複雑で動的な相互作用を、原理的でモジュラーかつ因果構造を持つ方法でモデル化すること。
• スケーラブルなシミュレーションプラットフォームを提供し、現実的で設定可能な環境において、ポリシー評価と新規レコメンデーションアルゴリズムのエンドツーエンドトレーニングを両立させること。
• 研究者や実務家が、ユーザーサティスファクションとコンテンツ多様性のバランスを取るエコシステムに配慮したポリシーにおけるトレードオフを探索できるようにすること。
• シミュレーションから実世界への転送とオープンソースの拡張性を支援することで、移譲可能で一般化可能なモデルの開発を促進すること。

提案手法

• RecSim NG は、Edward2 と TensorFlow を用いた確率的プログラミングフレームワークとして実装されており、エージェントの行動と状態ダイナミクスのモジュラーかつ合成可能な指定を可能としている。
• 確率的分布と潜在変数を用いて、ユーザープレファレンス、選択行動、エンゲージメント、状態遷移の因果的生成モデルをサポートしている。
• 自動微分とトレースを統合することで、インタラクションの軌跡から潜在変数モデルの確率的推論とエンドツーエンドトレーニングを可能としている。
• TPU などのハードウェアアクセラレータ上で効率的に実行可能な TensorFlow ベースのランタイムを提供しており、大規模エコシステムの高スルーレートシミュレーションを実現している。
• コミュニティ構造、選択モデル、コンテンツ生成ダイナミクスなどの環境パラメータを設定可能としており、多様なエコシステム状態をシミュレートできる。
• モンテカルロシミュレーションと確率的推論を用いたポリシー評価を可能としており、オンラインおよびバッチトレーニングワークフローの両方をサポートしている。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、原理的で不確実性を適切に取り扱い、因果構造を持つ長期的で複数ターンにわたるレコメンデーションシステムの相互作用をモデル化できるか？
• RQ2 コンテンツブーストなどのエコシステムに配慮したポリシーが、長期的なユーザーユーティリティとシステム全体の福祉に与える影響は何か？
• RQ3 コミュニティ構造やコンテンツ多様性などの異なる環境設定下で、非短視的かつインタラクティブなレコメンデーションポリシーのパフォーマンスはどのように変化するか？
• RQ4 RecSim NG のようなシミュレーションプラットフォームは、強化学習に基づく新規レコメンデーションアルゴリズムの開発と評価をどの程度加速できるか？
• RQ5 ハードウェアアクセラレーションと微分可能プログラミングを活用することで、シミュレーションベースのトレーニングと推論をどのようにスケーラブルかつ効率的に行えるか？

主な発見

• ブーストキャップパラメータ L=1.2 のエコシステムに配慮したポリシーは、300 ステップの間で累積ユーザーユーティリティ 161.34 を達成し、短視眼的ポリシー（130.77）を顕著に上回った。
• L=1.2 を超えてブーストキャップパラメータを増加させると、累積ユーザーユーティリティが低下し、これは、未発達なプロバイダーに過剰にインcentivize することが関連性の低下を引き起こし、ユーザーサティスファクションを損なうことを示している。
• Google TPUv2 を使用した場合、CPU と比較してシミュレーション実行時間が 6 倍速くなった。これは、大規模なポリシー評価における強力なハードウェアアクセラレーションの可能性を示している。
• プラットフォームは、調整可能なコミュニティ構造や、異なるユーザ選択およびコンテンツ生成ダイナミクスを備えた多様なエコシステムモデルの構成と評価を成功裏にサポートした。
• RecSim NG における確率的推論と潜在変数学習の活用により、インタラクションの軌跡からの有効なモデルトレーニングが可能となり、データ駆動型ポリシー開発が実現した。
• フレームワークは高い設定可能性と拡張性を示し、単純なポリシー比較から複雑な現実世界のシミュレーションシナリオまでをカバーできることが確認された。