[论文解读] Consequential Ranking Algorithms and Long-term Welfare

Behzad Tabibian, Vicenç Gómez+3 more|arXiv (Cornell University)|May 13, 2019

Mobile Crowdsensing and Crowdsourcing参考文献 44被引用 4

一句话总结

本文提出了一种后果性排序算法，通过马尔可夫决策过程（MDPs）建模用户动态，以优化长期福利，实现即时效用与诸如虚假信息和不文明行为等社会成本之间的权衡。该方法提出了一种基于梯度的学习方法，用于学习参数化的排序策略，可将有害内容减少高达30%，同时对原始效用影响极小，并在真实Reddit数据上得到验证。

ABSTRACT

Ranking models are typically designed to provide rankings that optimize some measure of immediate utility to the users. As a result, they have been unable to anticipate an increasing number of undesirable long-term consequences of their proposed rankings, from fueling the spread of misinformation and increasing polarization to degrading social discourse. Can we design ranking models that understand the consequences of their proposed rankings and, more importantly, are able to avoid the undesirable ones? In this paper, we first introduce a joint representation of rankings and user dynamics using Markov decision processes. Then, we show that this representation greatly simplifies the construction of consequential ranking models that trade off the immediate utility and the long-term welfare. In particular, we can obtain optimal consequential rankings just by applying weighted sampling on the rankings provided by models that maximize measures of immediate utility. However, in practice, such a strategy may be inefficient and impractical, specially in high dimensional scenarios. To overcome this, we introduce an efficient gradient-based algorithm to learn parameterized consequential ranking models that effectively approximate optimal ones. We showcase our methodology using synthetic and real data gathered from Reddit and show that ranking models derived using our methodology provide ranks that may mitigate the spread of misinformation and improve the civility of online discussions.

研究动机与目标

• 为解决当前排序系统未能预见的长期社会危害，如虚假信息传播和极化加剧等问题。
• 设计能够显式考虑其排序结果随时间推移所产生的长期后果的排序算法。
• 在保持对即时效用优化模型的保真度与提升长期福利指标（如文明程度和信息质量）之间实现平衡。
• 开发一种高效、基于梯度的学习方法，以实现高维设置下的可扩展部署。
• 在真实Reddit数据上实证验证该方法，证明其在不牺牲排序效用的前提下，有效减少了虚假信息和不文明内容。

提出的方法

• 联合建模排序与用户动态，采用马尔可夫决策过程（MDPs），表示排序序列及随时间演变的项目特征。
• 应用贝尔曼最优性原理，通过原始排序的加权采样，推导出最优后果性排序的解析解。
• 基于对长期福利的影响成本，采用指数加权方法，优先选择能减少有害内容的排序。
• 开发一种基于梯度的算法，用于学习参数化的后果性排序模型（如Plackett-Luce模型），以高效逼近最优解。
• 采用损失函数，在原始排序模型的保真度（通过KL散度衡量）与长期福利（如不文明程度或虚假信息得分）之间进行权衡。
• 在真实Reddit数据上进行训练，使用评论序列的批量数据，特征包括首次评论时间、不文明程度和不可靠性得分。

实验结果

研究问题

• RQ1 能否设计出能够预见并缓解长期社会危害（如虚假信息和不文明行为）的排序模型？
• RQ2 如何在排序系统中形式化建模并优化即时效用与长期福利之间的权衡？
• RQ3 后果性排序模型对现实世界在线讨论质量与内容完整性有何影响？
• RQ4 在高维设置中，最优后果性排序能否被高效近似？
• RQ5 参数化排序模型在多大程度上可减少有害内容，同时保持原始排序系统的效用？

主要发现

• 后果性排序模型在Reddit数据上将最高排名评论的不文明程度降低了最多30%，同时对即时效用的损失极小。
• 该模型同样将最高排名位置的虚假信息减少了最多30%，且与原始反向时间顺序排序的偏差不显著。
• 基于梯度的学习算法有效近似了最优后果性排序，使高维设置下的实际部署成为可能。
• 通过加权采样获得的解析解被验证为基准方法，表明可通过基于福利的重加权从原始模型中推导出最优排序。
• 该方法在显著改善长期福利指标的同时，保持了对原始排序的高保真度（通过KL散度衡量）。
• 结果在多个测试提交中保持一致，95%置信区间确认了性能的稳健性。