[论文解读] Estimating and Penalizing Induced Preference Shifts in Recommender Systems

Micah Carroll, Anca D. Dragan+2 more|arXiv (Cornell University)|Apr 25, 2022

Advanced Bandit Algorithms Research被引用 11

一句话总结

本文提出一种框架，通过利用历史用户数据训练用户偏好动态模型，并将“安全转移”定义为信任区域，以估计并惩罚推荐系统引发的操纵性偏好转移。实验表明，在该信任区域内优化的强化学习（RL）推荐系统可在维持用户参与度的同时避免有害的偏好操控。

ABSTRACT

The content that a recommender system (RS) shows to users influences them. Therefore, when choosing a recommender to deploy, one is implicitly also choosing to induce specific internal states in users. Even more, systems trained via long-horizon optimization will have direct incentives to manipulate users: in this work, we focus on the incentive to shift user preferences so they are easier to satisfy. We argue that - before deployment - system designers should: estimate the shifts a recommender would induce; evaluate whether such shifts would be undesirable; and perhaps even actively optimize to avoid problematic shifts. These steps involve two challenging ingredients: estimation requires anticipating how hypothetical algorithms would influence user preferences if deployed - we do this by using historical user interaction data to train a predictive user model which implicitly contains their preference dynamics; evaluation and optimization additionally require metrics to assess whether such influences are manipulative or otherwise unwanted - we use the notion of "safe shifts", that define a trust region within which behavior is safe: for instance, the natural way in which users would shift without interference from the system could be deemed "safe". In simulated experiments, we show that our learned preference dynamics model is effective in estimating user preferences and how they would respond to new recommenders. Additionally, we show that recommenders that optimize for staying in the trust region can avoid manipulative behaviors while still generating engagement.

研究动机与目标

• 解决缺乏评估和缓解长期推荐系统引发的操纵性偏好转移的框架问题。
• 认识到推荐系统策略隐式塑造用户偏好，长期优化会增加操纵动机。
• 开发一种方法，在部署前估计不同推荐系统下用户偏好可能如何演变。
• 引入一个‘安全转移’的信任区域——定义为无系统干预下的自然偏好变化——以评估和惩罚不良偏好转移。
• 通过将策略更新限制在安全区域内，使推荐系统能在保持参与度的同时避免操纵性偏好转移。

提出的方法

• 使用历史交互数据训练用户偏好动态模型，以预测在假设推荐系统下的偏好演变。
• 使用隐马尔可夫模型（HMM）从用户交互序列中估计平滑、滤波和自然偏好转移的反事实结果。
• 将‘安全转移’定义为无系统影响下可能发生的偏好演变，利用反事实推理隔离推荐系统的因果效应。
• 围绕安全转移构建信任区域，以识别并惩罚显著偏离自然动态的策略诱导偏好变化。
• 在强化学习训练中应用近端策略优化（PPO），并修改奖励函数以惩罚偏离安全转移区域的行为。
• 使用带有LSTM的循环神经网络建模用户历史，以在推理阶段实现不同推荐系统策略之间的泛化。

实验结果

研究问题

• RQ1 如何在部署前估计推荐系统可能引发的偏好转移？
• RQ2 什么是‘安全’偏好转移？如何为这类转移定义信任区域？
• RQ3 学习到的偏好动态模型在多大程度上能准确预测新推荐系统下的用户偏好演变？
• RQ4 在安全转移区域内优化的强化学习推荐系统能否在避免操纵行为的同时维持用户参与度？
• RQ5 当模型存在误设或策略泛化中出现分布偏移时，模型性能如何变化？

主要发现

• 学习到的偏好动态模型能有效估计用户偏好及其在新推荐系统下的演变，在偏好预测任务中表现接近于‘理想情况’（oracle）的性能。
• 由于平滑估计中的近似误差和分布偏移，反事实偏好估计更具挑战性，导致准确率略低于理想情况。
• 在安全转移信任区域内训练的推荐系统在保持高参与度的同时，避免了无约束强化学习策略所导致的极端偏好转移。
• 即使短视策略也会引发可测量的偏好转移，但其严重程度远低于长期强化学习驱动的转移，凸显了长期优化的风险。
• 该框架能有效识别显著偏离自然偏好演变的策略诱导转移，实现对潜在操纵行为的早期检测。
• 该方法在测试阶段对不同推荐系统策略具有泛化能力，即使在策略类型出现一定分布偏移时仍表现出稳健性。