[论文解读] Big Data, Data Science, and Civil Rights

Solon Barocas, Elizabeth Bradley+2 more|arXiv (Cornell University)|Jun 9, 2017

Ethics and Social Impacts of AI被引用 9

一句话总结

本文提出了一项全面的研究议程，以应对大规模数据和数据科学中的公民权利风险，重点在于检测和减轻算法中的偏见、提高透明度，并在整个建模生命周期中嵌入公平性。它呼吁跨学科合作，以确保数据驱动的系统不会延续歧视或损害社会正义。

ABSTRACT

Advances in data analytics bring with them civil rights implications. Data-driven and algorithmic decision making increasingly determine how businesses target advertisements to consumers, how police departments monitor individuals or groups, how banks decide who gets a loan and who does not, how employers hire, how colleges and universities make admissions and financial aid decisions, and much more. As data-driven decisions increasingly affect every corner of our lives, there is an urgent need to ensure they do not become instruments of discrimination, barriers to equality, threats to social justice, and sources of unfairness. In this paper, we argue for a concrete research agenda aimed at addressing these concerns, comprising five areas of emphasis: (i) Determining if models and modeling procedures exhibit objectionable bias; (ii) Building awareness of fairness into machine learning methods; (iii) Improving the transparency and control of data- and model-driven decision making; (iv) Looking beyond the algorithm(s) for sources of bias and unfairness-in the myriad human decisions made during the problem formulation and modeling process; and (v) Supporting the cross-disciplinary scholarship necessary to do all of that well.

研究动机与目标

• 识别并解决由于在关键社会领域日益依赖数据驱动和算法决策而引发的公民权利关切。
• 开发能够检测和减轻机器学习模型及建模流程中令人反感的偏见的方法。
• 改善机构中数据驱动和模型驱动决策的透明度和用户控制力。
• 审视问题定义和数据收集过程中非算法性偏见的来源。
• 促进计算机科学、法律、伦理学和社会科学的跨学科合作，以确保实现公平结果。

提出的方法

• 提出一个五部分的研究议程，以系统性地应对数据科学中的公民权利问题。
• 在模型开发过程中，将公平性度量和偏见检测技术整合进机器学习流程。
• 通过可解释人工智能和数据及模型决策的可审计性来推进透明度。
• 对从问题界定到部署的整个数据科学生命周期进行批判性分析，以发现隐藏的偏见。
• 促进数据科学家、社会科学家、法律学者和公民权利专家之间的跨学科合作。
• 制定高风险领域中算法系统问责和监督的框架。

实验结果

研究问题

• RQ1 我们如何检测和衡量数据驱动模型及建模流程中的令人反感的偏见？
• RQ2 哪些技术和程序机制可以从一开始就将公平性嵌入机器学习方法中？
• RQ3 如何使数据和模型决策过程对用户和监管机构更加透明和可控？
• RQ4 在数据科学生命周期中，非算法性不公的来源有哪些，如何识别并加以解决？
• RQ5 需要哪些制度和学术结构来支持在数据科学中公平性和公民权利问题上的持续跨学科研究？

主要发现

• 本文建立了一个基础性研究议程，以主动应对数据科学中的公民权利风险，强调系统性解决方案而非单纯技术修复。
• 它指出，偏见往往并非源于算法本身，而是源于问题的界定、数据的收集以及建模过程中的人员决策。
• 透明度和用户控制力虽至关重要，但若不解决结构性和语境性不公的根源，则仍显不足。
• 作者认为，仅靠算法修复无法实现公平性；跨学科合作对于产生真正影响至关重要。
• 本文呼吁制度支持和持续的学术参与，以将公民权利考量嵌入数据科学实践。
• 它将公平性定位为一个多维挑战，需要在技术、伦理、法律和社会维度之间实现整合。