[论文解读] Algorithms that "Don't See Color": Comparing Biases in Lookalike and Special Ad Audiences

Piotr Sapieżyński, Avijit Ghosh+3 more|arXiv (Cornell University)|Dec 16, 2019

Ethics and Social Impacts of AI参考文献 26被引用 10

一句话总结

本研究评估了Facebook的特殊广告受众算法——该算法旨在排除性别、年龄和种族等人口统计特征——以检验在移除这些输入后是否能消除广告定位中的偏见。尽管已移除敏感属性，该算法仍会产生与标准“相似受众”几乎完全相同的高度偏斜受众，表明偏见通过相关特征和基于内容的投放机制持续存在。

ABSTRACT

Researchers and journalists have repeatedly shown that algorithms commonly used in domains such as credit, employment, healthcare, or criminal justice can have discriminatory effects. Some organizations have tried to mitigate these effects by simply removing sensitive features from an algorithm's inputs. In this paper, we explore the limits of this approach using a unique opportunity. In 2019, Facebook agreed to settle a lawsuit by removing certain sensitive features from inputs of an algorithm that identifies users similar to those provided by an advertiser for ad targeting, making both the modified and unmodified versions of the algorithm available to advertisers. We develop methodologies to measure biases along the lines of gender, age, and race in the audiences created by this modified algorithm, relative to the unmodified one. Our results provide experimental proof that merely removing demographic features from a real-world algorithmic system's inputs can fail to prevent biased outputs. As a result, organizations using algorithms to help mediate access to important life opportunities should consider other approaches to mitigating discriminatory effects.

研究动机与目标

• 评估从Facebook的相似受众算法中移除敏感人口统计特征（如性别、年龄、种族）是否能减少广告定位中的群体偏见。
• 调查Facebook推出的特殊广告受众工具——该工具是在一起诉讼后作为合规措施引入的——是否相较于标准相似受众更有效地减轻偏见。
• 考察基于内容的广告投放机制以及源受众构成如何在受保护属性被排除的情况下，仍导致持续的人口统计偏见。
• 评估在住房、就业和信贷广告等高风险领域中，算法偏见的实际影响。
• 开发一种用于在现实世界大规模平台中测量和比较算法定位系统偏见的方法论。

提出的方法

• 构建具有已知人口统计失衡的源受众（例如，全部为女性、以男性为主或多样化），以测试相似受众与特殊广告受众中的受众偏斜情况。
• 通过两种受众类型投放相同的现实广告（例如，职位空缺信息），以测量在性别、年龄和种族群体中的投放分布。
• 使用统计分析比较相似受众与特殊广告受众之间的投放分布，检验在人口统计代表性方面是否存在显著差异。
• 通过在相同目标受众上测试不同广告文案（例如，超市职位 vs. 人工智能职位）来评估基于内容的偏见，以隔离广告内容对投放偏见的影响。
• 使用来自Facebook员工的特殊广告受众分析现实广告投放模式，以评估其在现实场景中的适用性与偏见。
• 采用混合方法，结合受控实验与平台行为的观察性分析，以评估系统性偏见。

实验结果

研究问题

• RQ1 从Facebook的相似受众算法中移除人口统计特征在多大程度上减少了目标受众中的群体偏见？
• RQ2 当使用相同的源受众时，特殊广告受众的人口统计构成与标准相似受众相比如何？
• RQ3 即使目标受众是平衡的，Facebook广告系统中的基于内容的投放机制在多大程度上导致了人口统计偏见？
• RQ4 源受众的构成在多大程度上影响了结果目标受众的偏斜，无论是否排除了人口统计特征？
• RQ5 在移除敏感属性后，仍产生偏见结果的算法定位工具在法律和伦理上意味着什么？

主要发现

• 当目标源受众为100%女性时，相似受众将广告投放给96.1%的女性，而特殊广告受众则投放给91.2%的女性——两者差异在统计上不显著。
• 在使用相同源受众时，特殊广告受众工具在性别、年龄或种族维度上并未显著减少偏斜，与标准相似受众相比无明显改善。
• 由Facebook员工（以男性为主，年龄集中在25–34岁）创建的特殊广告受众，导致目标受众严重偏向25–34岁的男性，表明持续存在人口统计偏见。
• 基于内容的投放机制导致显著偏斜：超市职位广告被不成比例地投放给中年女性，而人工智能职位广告则更多地投放给年轻男性，即使目标受众是平衡的。
• 本研究证实，Facebook的广告投放优化系统即使在目标算法中排除了人口统计特征，仍可能通过内容相关性估算放大偏见。
• 结果表明，仅从算法输入中移除敏感特征不足以防止现实世界算法系统中的歧视性结果，尤其是在复杂的社会技术环境中。