[论文解读] Constrained Reinforcement Learning for Short Video Recommendation

Qingpeng Cai, Ruohan Zhan+6 more|arXiv (Cornell University)|May 26, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出了一种两阶段约束强化学习框架，用于短视频推荐，旨在优化长期观看时长的同时保持对辅助用户交互行为（如分享、下载）的强性能。通过先对辅助响应预训练策略，再训练一个受约束的主策略以保持与这些策略相近，该方法在观看时长与交互指标之间实现了更优的平衡，在实际部署实验中，观看时长相对监督基线提升了+0.336%，分享数提升了+3.324%。

ABSTRACT

The wide popularity of short videos on social media poses new opportunities and challenges to optimize recommender systems on the video-sharing platforms. Users provide complex and multi-faceted responses towards recommendations, including watch time and various types of interactions with videos. As a result, established recommendation algorithms that concern a single objective are not adequate to meet this new demand of optimizing comprehensive user experiences. In this paper, we formulate the problem of short video recommendation as a constrained Markov Decision Process (MDP), where platforms want to optimize the main goal of user watch time in long term, with the constraint of accommodating the auxiliary responses of user interactions such as sharing/downloading videos. To solve the constrained MDP, we propose a two-stage reinforcement learning approach based on actor-critic framework. At stage one, we learn individual policies to optimize each auxiliary response. At stage two, we learn a policy to (i) optimize the main response and (ii) stay close to policies learned at the first stage, which effectively guarantees the performance of this main policy on the auxiliaries. Through extensive simulations, we demonstrate effectiveness of our approach over alternatives in both optimizing the main goal as well as balancing the others. We further show the advantage of our approach in live experiments of short video recommendations, where it significantly outperforms other baselines in terms of watch time and interactions from video views. Our approach has been fully launched in the production system to optimize user experiences on the platform.

研究动机与目标

• 为解决在短视频推荐中同时优化多种用户响应信号（尤其是密集的观看时长与稀疏的交互行为）的挑战。
• 开发一种强化学习框架，优先优化长期观看时长，同时确保分享、下载等辅助响应不会被忽略。
• 克服单目标强化学习与加权和奖励方法的局限性，这些方法难以处理响应频率差异与折扣率不同的问题。
• 设计一种实用且可扩展的方法，适用于真实世界推荐系统的实际部署。

提出的方法

• 将短视频推荐建模为约束马尔可夫决策过程（CMDP），以观看时长为主要目标，交互信号作为约束条件。
• 采用两阶段训练流程：首先，分别训练独立的A3C策略以优化每种辅助响应（如分享、下载）。
• 使用针对不同响应的值网络，并采用各自的折扣因子，以准确评估稀疏与密集信号，避免不同响应类型之间的干扰。
• 在第二阶段，训练主策略以最大化累积观看时长，同时通过邻域约束使其保持接近辅助策略。
• 在演员更新中应用软约束，通过邻域正则化项确保主策略不会偏离辅助策略过远。
• 采用一种评论家更新规则，结合多个响应特异性评论家的值估计，以指导主策略的学习。

实验结果

研究问题

• RQ1 约束强化学习框架能否在短视频推荐中有效平衡长期观看时长与多种辅助用户交互信号？
• RQ2 当响应信号在频率和时间结构上存在差异时，使用具有独立折扣因子的响应特异性值网络，能否提升策略学习效果？
• RQ3 预训练辅助策略并约束主策略保持在其邻近区域，是否能带来在主目标与辅助目标上均优于联合优化的性能？
• RQ4 两阶段方法在实际部署环境中，相较于标准A3C与RCPO，优势有多大？
• RQ5 该方法能否在优化密集观看时长的同时，保持对稀疏交互信号（如分享与下载）的强性能？

主要发现

• 所提出的两阶段约束A3C方法在实际部署实验中，相较于监督式LTR基线，观看时长相对提升了+0.336%，分享数提升了+3.324%。
• 该模型在平衡辅助指标方面显著优于A3C与RCPO-A3C，在分享数上提升3.324%，下载数提升1.785%，同时保持了强劲的观看时长增益。
• 学习曲线显示，通过保持在交互优化策略的邻近区域，模型迅速提升了分享性能，表明约束机制被有效执行。
• 为每类响应单独设计的值网络提升了学习的稳定性和准确性，尤其对稀疏信号而言，通过采用独立的折扣因子并减少信号干扰。
• 与简单组合方法相比，该方法在观看时长值估计上提升了0.191%，在交互信号估计上提升了0.143%，验证了设计选择的有效性。
• 该方法已在快手全面投入生产环境，证明了其在真实场景下的可扩展性与有效性，显著优化了用户体验。