[论文解读] Algorithms are not neutral: Bias in collaborative filtering

Catherine Stinson|arXiv (Cornell University)|May 3, 2021

Mobile Crowdsensing and Crowdsourcing参考文献 16被引用 8

一句话总结

本文表明，协同过滤算法即使在使用无偏数据和开发者的前提下，也会通过流行度效应和同质化效应固有地引入偏见。它认为，算法设计本身——尤其是从用户反馈中迭代学习的机制——会引发选择性偏见，从而边缘化代表性不足的群体，挑战了推荐系统中算法中立性的神话。

ABSTRACT

Discussions of algorithmic bias tend to focus on examples where either the data or the people building the algorithms are biased. This gives the impression that clean data and good intentions could eliminate bias. The neutrality of the algorithms themselves is defended by prominent Artificial Intelligence researchers. However, algorithms are not neutral. In addition to biased data and biased algorithm makers, AI algorithms themselves can be biased. This is illustrated with the example of collaborative filtering, which is known to suffer from popularity, and homogenizing biases. Iterative information filtering algorithms in general create a selection bias in the course of learning from user responses to documents that the algorithm recommended. These are not merely biases in the statistical sense; these statistical biases can cause discriminatory outcomes. Data points on the margins of distributions of human data tend to correspond to marginalized people. Popularity and homogenizing biases have the effect of further marginalizing the already marginal. This source of bias warrants serious attention given the ubiquity of algorithmic decision-making.

研究动机与目标

• 挑战广泛存在的观点，即算法是中立的，尤其是在协同过滤系统中。
• 识别并分析算法机制本身如何引入偏见，而独立于数据或开发者意图。
• 证明推荐系统中的迭代学习过程会引发选择性偏见，且对边缘化群体造成不成比例的影响。
• 强调协同过滤中流行度和同质化等统计偏见所导致的歧视性后果。
• 呼吁对算法设计作为人工智能系统中系统性偏见的根源给予更多关注。

提出的方法

• 将协同过滤作为迭代信息过滤算法的代表性案例进行分析。
• 研究用户交互如何强化热门项目，从而导致自我强化的流行度偏见。
• 调查重复过滤如何降低多样性并促进推荐内容的同质化。
• 通过理论和概念分析表明，算法学习过程中的统计偏见会导致歧视性结果。
• 借鉴社会学和批判理论视角，将算法偏见视为结构性而非偶然现象。
• 主张从用户反馈中学习的机制本身就会固有地嵌入选择性偏见，即使没有显式的数据或设计偏见。

实验结果

研究问题

• RQ1 协同过滤算法如何在数据或开发者偏见之外引入偏见？
• RQ2 迭代学习过程在多大程度上放大了推荐系统中的选择性偏见？
• RQ3 为何协同过滤中的流行度和同质化偏见会导致代表性不足群体的边缘化？
• RQ4 即使数据和意图中立，算法设计本身如何成为系统性歧视的根源？
• RQ5 算法偏见对自动化决策中公平与公正的结构性影响是什么？

主要发现

• 协同过滤算法即使在使用无偏数据的情况下，其迭代学习过程本身也会固有地产生选择性偏见。
• 协同过滤中的流行度偏见系统性地偏爱广受欢迎的项目，导致不那么流行但可能相关的项目被边缘化。
• 同质化偏见降低了推荐的多样性，强化了主流偏好，进一步边缘化了代表性不足的声音。
• 算法学习过程中存在的统计偏见会产生现实世界的歧视性后果，尤其对人类数据分布边缘群体影响显著。
• 本文通过证明算法设计和机制本身即嵌入偏见，挑战了算法中立性的观念。
• 研究结果强调必须将算法设计视为解决人工智能系统中公平与公正问题的关键领域。