[論文レビュー] Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology

Eugene Ie, Vihan Jain+11 more|arXiv (Cornell University)|May 29, 2019

Recommender Systems and Techniques参考文献 68被引用数 23

ひとこと要約

本稿では、スレートベースのレコメンデーションシステムにおける強化学習のための tractable な分解法である SlateQ を提案する。この手法は、緩いユーザー選択仮定の下でスレートレベルの長期価値（LTV）を個々のアイテムのLTVに分解することで、長期的価値最適化を可能にする。この方法は時系列差分学習と統合され、線形計画法を用いてスケーラブルかつ多項式時間でスレート最適化を実現する。ライブYouTube実験において、短視眼的ベースラインと比較してユーザー参加度が顕著に向上した。

ABSTRACT

Most practical recommender systems focus on estimating immediate user engagement without considering the long-term effects of recommendations on user behavior. Reinforcement learning (RL) methods offer the potential to optimize recommendations for long-term user engagement. However, since users are often presented with slates of multiple items - which may have interacting effects on user choice - methods are required to deal with the combinatorics of the RL action space. In this work, we address the challenge of making slate-based recommendations to optimize long-term value using RL. Our contributions are three-fold. (i) We develop SLATEQ, a decomposition of value-based temporal-difference and Q-learning that renders RL tractable with slates. Under mild assumptions on user choice behavior, we show that the long-term value (LTV) of a slate can be decomposed into a tractable function of its component item-wise LTVs. (ii) We outline a methodology that leverages existing myopic learning-based recommenders to quickly develop a recommender that handles LTV. (iii) We demonstrate our methods in simulation, and validate the scalability of decomposed TD-learning using SLATEQ in live experiments on YouTube.

研究の動機と目的

• スレートベースのレコメンデーションシステムにおける強化学習（RL）における組み合わせ的行動空間の課題に対処すること。
• 現実的なユーザー選択仮定の下で、スレートレベルの長期価値（LTV）を個々のアイテムのLTVに分解することで、効果的な長期的価値（LTV）最適化を可能にすること。
• 既存の短視眼的レコメンデーションシステムにRLを統合するための実用的手法を構築すること、インfraの再構築を伴わないこと。
• 提案されたRLフレームワークが、YouTubeのような大規模生産環境においてスケーラビリティと有効性を示すことを実証すること。

提案手法

• ユーザー選択行動に関する緩い仮定の下で、スレートの長期価値（LTV）をその構成アイテムのLTVの関数として表現する SlateQ という分解法を導入する。
• 時系列差分（TD）学習およびQ学習を、アイテムレベルのLTV推定値上で動作するように適応させ、効率的な一般化と探索を可能にする。
• スレート最適化問題を線形計画法（LP）に還元することで、多項式時間で解けるようにし、実用的な近似手法（例：top-k やグリーディ法）も評価する。
• 既存の短視眼的レコメンダーから得られるアイテムレベルのLTV予測値をRLパイプラインの入力として再利用することで、RLを既存の短視眼的レコメンダーからブートストラップする手法を提案する。
• スレート最適化のための2段階還元を採用：まず分数ナップサック問題に還元し、次に線形計画法に還元することで、Q学習における効率的な方策改善を可能にする。
• シミュレーションおよびYouTubeでのライブA/B実験を用いて、LTV最適化方策と短視眼的参加度最適化ベースラインとの比較を通じて、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 現実的なユーザー選択仮定の下で、スレートの長期的価値を、個々のアイテムの長期的価値の扱いやすい関数に効果的に分解できるか？
• RQ2 時系列差分法およびQ学習を、アイテムレベルのLTV推定値上で動作させることで、スレート推薦においてスケーラビリティとパフォーマンスを維持できるか？
• RQ3 SlateQ分解に基づいて、LPベースまたはヒューリスティック手法を用いて、組み合わせ的スレート最適化問題を多項式時間で解けるか？
• RQ4 既存の短視眼的レコメンダーを、生産環境におけるRLベースの長期的価値最適化をブートストラップするためにどれほど再利用できるか？
• RQ5 提案されたRLベースのスレートレコメンダーは、実世界の展開において、短視眼的で即時の参加度最適化ベースラインと比較して、顕著に長期的なユーザー参加度を向上させるか？

主な発見

• ライブYouTube実験では、LTV最適化されたSlateQモデルを用いた場合、短視眼的ベースライン（MYOP-TS）と比較して、集計されたユーザー参加度が統計的に有意かつ一貫して向上した。
• LTV最適化モデルから推薦を受けたユーザーは、より長いセッション参加時間を持ち、長期的なユーザー満足度の向上を示唆した。
• 参加度の増加の分布は、上位スレート順位で最も高く、上位3つの順位が合計参加度のおよそ95％を占めていた。
• 位置10ではイベント数が少ないにもかかわらず、モデルは測定可能な、ただし統計的にノイズの多い参加度の増加を示しており、高順位でも頑健であることが示唆された。
• LPベースの最適化手法は最適なスレート選択を達成したが、top-k やグリーディ近似法も理論的保証がなくても実用的に優れた性能を示した。
• この手法により、既存の短視眼的レコメンダーインfraを再利用することで、RLの迅速な展開が可能となり、大規模システムにおける実用的妥当性が示された。