[论文解读] Detection and Mitigation of Bias in Ted Talk Ratings

Rupam Acharyya, Shouman Das+3 more|arXiv (Cornell University)|Mar 2, 2020

Benford’s Law and Fraud Detection参考文献 30被引用 7

一句话总结

本文通过公平意识机器学习检测并缓解TED演讲观众评分中的隐性偏见，表明尽管平台致力于包容性，但种族和性别仍显著影响评分。通过应用预处理、在处理和后处理技术——尤其是Prejudice Remover和Disparate Impact指标——研究显示偏见可系统性减少，其中在处理方法在提升公平性方面效果最佳。

ABSTRACT

Unbiased data collection is essential to guaranteeing fairness in artificial intelligence models. Implicit bias, a form of behavioral conditioning that leads us to attribute predetermined characteristics to members of certain groups and informs the data collection process. This paper quantifies implicit bias in viewer ratings of TEDTalks, a diverse social platform assessing social and professional performance, in order to present the correlations of different kinds of bias across sensitive attributes. Although the viewer ratings of these videos should purely reflect the speaker's competence and skill, our analysis of the ratings demonstrates the presence of overwhelming and predominant implicit bias with respect to race and gender. In our paper, we present strategies to detect and mitigate bias that are critical to removing unfairness in AI.

研究动机与目标

• 探究TED演讲观众评分中的隐性偏见是否受演讲者种族和性别影响。
• 使用最先进的公平性度量指标量化公众演讲评分中不公平性的程度。
• 在真实世界的社会表现数据集上，评估并比较预处理、在处理和后处理的偏见缓解策略。
• 为检测和减少AI驱动的社会评价系统中的偏见，提供系统化且可复现的框架。
• 揭示后处理在解决多样化真实世界数据集中交叉偏见方面的局限性。

提出的方法

• 利用AIF360工具包在TED演讲评分数据集中，针对性别和种族类别计算Disparate Impact公平性度量。
• 应用预处理技术，在模型训练前从训练数据中去除主导性种族偏见。
• 通过Prejudice Remover算法实施在处理，即在模型训练过程中向损失函数添加公平性正则化项。
• 评估后处理方法，以在模型推理后调整预测结果，旨在实现受保护群体之间的结果均等化。
• 在相同数据集上训练并比较逻辑回归与Prejudice Remover模型，以评估公平性改进效果。
• 采用多阶段缓解流程：首先预处理以减少种族偏见，然后在处理以减少残余性别偏见。

实验结果

研究问题

• RQ1 在不考虑内容质量的前提下，TED演讲评分在多大程度上受演讲者种族和性别影响？
• RQ2 Disparate Impact度量能否有效量化受保护属性在社会表现评分中的不公平性？
• RQ3 在预处理、在处理和后处理三种策略中，哪一种最有效减少TED演讲评分中的不公平性？
• RQ4 后处理是否足以纠正多样化真实世界社会评价数据中的交叉偏见？
• RQ5 缓解技术的选择如何依赖于数据中存在主导性偏见的类型？

主要发现

• 白人男性演讲者获得持续积极的评分，而其他种族和性别的演讲者则获得更混杂且多变的评分，表明存在系统性偏见。
• 原始数据集表现出较高的Disparate Impact值，显示出显著的不公平性——尤其对非白人和非男性演讲者。
• Prejudice Remover模型（在处理）的Disparate Impact得分比逻辑回归更接近1，表明在性别类别间公平性得到改善。
• 预处理有效减少了主导性种族偏见，在模型训练前提升了公平性度量。
• 后处理方法未能显著改善公平性，表明在预测后纠正深层次偏见存在局限性。
• 本研究表明，缓解策略的有效性高度依赖于数据中存在偏见的类型和层级。