[论文解读] Discrimination in the Age of Algorithms

Jon Kleinberg, J. Ludwig+2 more|arXiv (Cornell University)|Feb 11, 2019

Human Rights and Immigration被引用 4

一句话总结

本文探讨了算法在法律与社会语境下对歧视检测的影响，认为尽管算法可能具有不透明性，但同时也能够增强决策过程的透明度与可审计性。通过强制实现具体性与可追溯性，设计良好的算法系统可使歧视更易于被检测与挑战，从而在适当监管下成为促进公平的工具。

ABSTRACT

The law forbids discrimination. But the ambiguity of human decision-making often makes it extraordinarily hard for the legal system to know whether anyone has actually discriminated. To understand how algorithms affect discrimination, we must therefore also understand how they affect the problem of detecting discrimination. By one measure, algorithms are fundamentally opaque, not just cognitively but even mathematically. Yet for the task of proving discrimination, processes involving algorithms can provide crucial forms of transparency that are otherwise unavailable. These benefits do not happen automatically. But with appropriate requirements in place, the use of algorithms will make it possible to more easily examine and interrogate the entire decision process, thereby making it far easier to know whether discrimination has occurred. By forcing a new level of specificity, the use of algorithms also highlights, and makes transparent, central tradeoffs among competing values. Algorithms are not only a threat to be regulated; with the right safeguards in place, they have the potential to be a positive force for equity.

研究动机与目标

• 分析算法决策如何影响反歧视法律的检测与执行。
• 调查算法在实践中是否增加或减少歧视风险。
• 考察算法系统中透明度、公平性与问责制之间的权衡。
• 识别算法系统如何被设计以增强公平性并减少偏见。
• 评估算法在使决策过程更易于接受法律与伦理监督方面的作用。

提出的方法

• 本文采用概念与法律分析方法，探讨算法决策与反歧视法之间的相互作用。
• 结合计算机科学、人工智能与社会科学的原则，评估算法的透明度与可审计性。
• 研究了算法在高风险决策中的实际应用案例，如招聘、信贷与刑事司法。
• 提出算法系统可通过使流程可追溯与可分析，减少决策中的模糊性。
• 该方法强调在设计中嵌入问责机制与公平性评估的重要性。
• 分析还考虑了数学与认知上的不透明性，及其对歧视法律证明的影响。

实验结果

研究问题

• RQ1 算法如何影响决策过程中歧视的可检测性？
• RQ2 算法系统在多大程度上能提升高风险决策的透明度与可审计性？
• RQ3 算法系统中公平性、准确性与透明度之间的权衡是什么？
• RQ4 算法系统能否作为减少偏见而非放大偏见的工具？
• RQ5 法律体系如何适应将算法过程作为反歧视案件中的证据？

主要发现

• 算法可减少决策中的模糊性，使歧视的检测与证明比不透明的人工决策更为容易。
• 尽管存在潜在的不透明性，但若设计时注重可审计性，算法系统可提供更高的透明度。
• 算法的使用迫使决策者更加具体，从而暴露不同价值之间的潜在权衡。
• 在适当的保障措施下，算法可成为促进公平与减少偏见的积极工具。
• 法律体系可从算法透明度中受益，因为它能促进对决策的更严格审查。
• 本文结论认为，算法本身并非固有歧视，但需通过监管与设计框架来确保公平。