[论文解读] Auditing Digital Platforms for Discrimination in Economic Opportunity Advertising

Sara Kingsley, Clara Wang+3 more|arXiv (Cornell University)|Aug 21, 2020

Impact of AI and Big Data on Business and Society参考文献 18被引用 11

一句话总结

本文提出了一种方法论和软件工具，用于审计数字平台——特别是 Facebook——在经济机会类别（如住房、就业、信贷）中的歧视性广告。通过使用机器学习对 Facebook 广告库 API 中的 141,063 条广告进行分类，研究揭示了按年龄和性别划分的广告分布存在显著差异，凸显了边缘化群体面临系统性排斥的风险，并倡导建立可扩展的、以政策为导向的审计框架。

ABSTRACT

Digital platforms, including social networks, are major sources of economic information. Evidence suggests that digital platforms display different socioeconomic opportunities to demographic groups. Our work addresses this issue by presenting a methodology and software to audit digital platforms for bias and discrimination. To demonstrate, an audit of the Facebook platform and advertising network was conducted. Between October 2019 and May 2020, we collected 141,063 ads from the Facebook Ad Library API. Using machine learning classifiers, each ad was automatically labeled by the primary marketing category (housing, employment, credit, political, other). For each of the categories, we analyzed the distribution of the ad content by age group and gender. From the audit findings, we considered and present the limitations, needs, infrastructure and policies that would enable researchers to conduct more systematic audits in the future and advocate for why this work must be done. We also discuss how biased distributions impact what socioeconomic opportunities people have, especially when on digital platforms some demographic groups are disproportionately excluded from the population(s) that receive(s) content regulated by law.

研究动机与目标

• 开发一种可复现的方法论，用于审计数字平台在经济机会广告中的歧视行为。
• 识别并量化 Facebook 广告平台上不同人口群体（年龄和性别）在广告曝光上的差异。
• 展示利用公开 API 和机器学习实现大规模、自动化审计的可行性。
• 揭示边缘化群体在获得受监管的社会经济机会方面被系统性排除的风险。
• 倡导建立机构基础设施和政策变革，以实现对数字平台的持续、系统性审计。

提出的方法

• 在 2019 年 10 月至 2020 年 5 月期间，从 Facebook 广告库 API 收集了 141,063 条广告。
• 训练机器学习分类器，自动为每条广告标注其主要营销类别：住房、就业、信贷、政治或其他。
• 分析各类别中广告内容在不同年龄组和性别之间的分布，以检测代表性失衡。
• 利用自动化分类实现对海量广告的规模化审计，确保可复现性和效率。
• 评估审计的局限性，并为未来审计提出在基础设施、政策和研究设计方面的改进建议。
• 提出一个框架，供研究人员对数字平台中的偏见开展系统性、持续性的审计。

实验结果

研究问题

• RQ1 Facebook 广告平台上的经济机会广告（如住房、就业、信贷）在不同年龄和性别群体之间如何分布？
• RQ2 广告曝光中的年龄和性别差异在多大程度上反映了或加剧了社会经济机会获取中的系统性不平等？
• RQ3 需要何种技术和制度基础设施，才能实现对数字广告平台的可扩展、可重复审计？
• RQ4 自动化审计方法如何在大规模范围内检测并衡量数字广告投放中的歧视行为？
• RQ5 为减轻数字经济机会广告中的歧视性模式，需要哪些政策和平台层面的变革？

主要发现

• 审计发现在 Facebook 的关键经济机会类别中，广告按年龄和性别分布存在显著差异。
• 某些人口群体，尤其是年长成年人和女性，在与就业和信贷机会相关的广告中系统性地代表性不足。
• 研究发现，边缘化群体在获得受反歧视法律监管的内容（如公平住房和公平信贷机会）方面被不成比例地排除。
• 该方法论成功以高准确率对 141,063 条广告进行了分类，证明了大规模自动化审计的可行性。
• 审计表明，当前平台的透明度机制在检测或防止歧视性广告投放方面仍显不足。
• 研究结果强调了建立标准化、可扩展的审计基础设施和政策改革的紧迫性，以确保数字经济机会的公平获取。