[论文解读] CIRS: Bursting Filter Bubbles by Counterfactual Interactive Recommender System

Chongming Gao, Shiqi Wang+7 more|arXiv (Cornell University)|Apr 4, 2022

Recommender Systems and Techniques被引用 12

一句话总结

本文提出CIRS，一种反事实交互式推荐系统，通过结合因果推断与离线强化学习，将内在兴趣与过度曝光效应解耦，以建模用户满意度。通过使用学习到的因果用户模型生成无偏的反事实奖励，CIRS有效减少了过滤气泡，并在交互式推荐场景中实现了更高的长期累积满意度。

ABSTRACT

While personalization increases the utility of recommender systems, it also brings the issue of filter bubbles. E.g., if the system keeps exposing and recommending the items that the user is interested in, it may also make the user feel bored and less satisfied. Existing work studies filter bubbles in static recommendation, where the effect of overexposure is hard to capture. In contrast, we believe it is more meaningful to study the issue in interactive recommendation and optimize long-term user satisfaction. Nevertheless, it is unrealistic to train the model online due to the high cost. As such, we have to leverage offline training data and disentangle the causal effect on user satisfaction. To achieve this goal, we propose a counterfactual interactive recommender system (CIRS) that augments offline reinforcement learning (offline RL) with causal inference. The basic idea is to first learn a causal user model on historical data to capture the overexposure effect of items on user satisfaction. It then uses the learned causal user model to help the planning of the RL policy. To conduct evaluation offline, we innovatively create an authentic RL environment (KuaiEnv) based on a real-world fully observed user rating dataset. The experiments show the effectiveness of CIRS in bursting filter bubbles and achieving long-term success in interactive recommendation. The implementation of CIRS is available via https://github.com/chongminggao/CIRS-codes.

研究动机与目标

• 解决交互式推荐系统中因内容过度曝光导致用户满意度随时间下降的过滤气泡关键问题。
• 克服静态与序列化推荐方法的局限性，这些方法因无法建模过度曝光导致的动态用户满意度变化而失效。
• 提出一种方法，通过将内在用户兴趣与内容过度曝光的负面影响解耦，优化长期用户满意度。
• 利用基于真实用户数据构建的完全可观测环境，实现对交互式推荐策略的忠实离线评估。
• 提供一个因果框架，指导强化学习策略在即时满意度与长期用户参与之间取得平衡。

提出的方法

• 提出一种结合离线强化学习与因果推断的反事实交互式推荐系统（CIRS），以建模用户满意度。
• 从历史数据中学习因果用户模型，以估计过度曝光对用户满意度的影响，从而与内在兴趣区分开来。
• 利用因果用户模型生成反事实奖励，反映在不同曝光历史条件下用户满意度可能如何变化。
• 将反事实奖励整合到离线强化学习训练过程中，引导策略学习以实现长期满意度最大化。
• 设计并发布KuaiEnv，一个基于真实世界推荐系统中完全可观测用户评分数据的现实离线强化学习环境。
• 使用时间衰减函数建模过度曝光效应：$e_t(u,i)$ 表示实际曝光，$e_t^*(u,i)$ 表示反事实曝光，其中超参数 $\tau$ 和 $\tau^*$ 控制衰减速率。

实验结果

研究问题

• RQ1 在交互式推荐系统中，对相似项目的过度曝光在多大程度上影响长期用户满意度？
• RQ2 因果用户模型能否有效将内在用户兴趣与过度曝光对满意度的影响解耦？
• RQ3 基于因果推断生成的反事实奖励在多大程度上能提升离线强化学习在交互式推荐中的性能？
• RQ4 CIRS与基线方法相比，在打破过滤气泡和实现更高累积满意度方面表现如何？
• RQ5 所提出的KuaiEnv环境是否适合对交互式推荐策略进行忠实的离线评估？

主要发现

• 对相似项目的过度曝光会显著降低用户的长期满意度，即使项目与用户兴趣相符，验证了过滤气泡的存在及其影响。
• CIRS通过有效平衡短期奖励与长期用户参与，实现更高的累积满意度，优于基线方法。
• 消融实验表明，移除因果推断组件（CIRS w/o CI）后性能下降，证明了反事实奖励的必要性。
• 针对过度曝光衰减的最优超参数对 $\tau$ 和 $\tau^*$ 显著提升了累积满意度，表明这些参数的敏感性与重要性。
• 所提出的KuaiEnv环境通过提供完全可观测的用户偏好，实现了对交互式推荐策略的忠实离线评估。
• CIRS在即时满意度与持续用户参与之间实现了最佳平衡，证实其在真实世界类似环境中的破除过滤气泡有效性。