[论文解读] An Introduction to Artificial Intelligence and Solutions to the Problems of Algorithmic Discrimination

Nicholas Schmidt, Bryce Stephens|arXiv (Cornell University)|Nov 8, 2019

Legal and Policy Issues被引用 15

一句话总结

本文提出了一种评估和减轻人工智能及机器学习系统中算法偏见的方法，特别是在消费者信贷领域，通过将公平性评估与现有的反歧视法律（如《平等信用机会法》）相一致。该方法提出一个框架，以识别并减少差别性对待和差别性影响，强调上下文感知的公平性评估，以确保符合法律标准，同时保持模型的实用性。

ABSTRACT

There is substantial evidence that Artificial Intelligence (AI) and Machine Learning (ML) algorithms can generate bias against minorities, women, and other protected classes. Federal and state laws have been enacted to protect consumers from discrimination in credit, housing, and employment, where regulators and agencies are tasked with enforcing these laws. Additionally, there are laws in place to ensure that consumers understand why they are denied access to services and products, such as consumer loans. In this article, we provide an overview of the potential benefits and risks associated with the use of algorithms and data, and focus specifically on fairness. While our observations generalize to many contexts, we focus on the fairness concerns raised in consumer credit and the legal requirements of the Equal Credit and Opportunity Act. We propose a methodology for evaluating algorithmic fairness and minimizing algorithmic bias that aligns with the provisions of federal and state anti-discrimination statutes that outlaw overt, disparate treatment, and, specifically, disparate impact discrimination. We argue that while the use of AI and ML algorithms heighten potential discrimination risks, these risks can be evaluated and mitigated, but doing so requires a deep understanding of these algorithms and the contexts and domains in which they are being used.

研究动机与目标

• 为应对人工智能和机器学习系统中日益增长的算法歧视问题，特别是在信贷评分等高风险领域。
• 分析现有联邦和州反歧视法律（如《平等信用机会法》）如何适用于算法决策。
• 开发一种实用的方法，用于检测和最小化人工智能系统中的偏见，同时与法律定义的差别性对待和差别性影响保持一致。
• 弥合技术公平性度量与现实世界人工智能部署中法律合规性之间的差距。

提出的方法

• 作者提出一种基于法律标准（特别是《平等信用机会法》（ECOA））的公平性评估框架，以评估算法决策。
• 他们从差别性对待（故意偏见）和差别性影响（对受保护群体的非故意不利结果）两个方面定义公平性。
• 该方法涉及使用针对受保护群体在结果上的群体层面差异的统计检验来审计模型。
• 它结合了特定上下文的分析，以确保公平性定义与特定领域（如信用资格评估）相关。
• 该方法将法律合规性检查整合到模型开发生命周期中，确保与监管期望保持一致。
• 它通过要求模型决策在法律框架下可解释且可辩护，强调透明度和可解释性。

实验结果

研究问题

• RQ1 如何以符合现有反歧视法律的方式评估人工智能系统中的公平性？
• RQ2 在算法决策中，差别性对待与差别性影响之间的关键法律区别是什么？
• RQ3 人工智能和机器学习模型在消费者信贷中如何被审计，以检测并减轻对受保护群体的偏见？
• RQ4 公平性度量如何调整以反映法律标准，而非纯粹的技术或统计定义？
• RQ5 对部署领域的上下文理解在确保法律合规且道德上合理的AI系统中扮演什么角色？

主要发现

• 本文表明，通过使用区分差别性对待和差别性影响的法律合规公平性度量，可以系统性地检测信贷评分中的算法偏见。
• 它表明，通过结果分布的统计分析，可以识别出存在差别性影响的模型——即受保护群体被不成比例地拒绝信贷。
• 所提出的框架使组织能够主动评估并减少偏见，而不会损害模型性能或违反监管要求。
• 该框架通过要求对不利决策提供解释，支持透明度，满足《平等信用机会法》下的法律义务。
• 该研究证实，法律合规性与技术公平性并非相互排斥，与反歧视法规保持一致在负责任的人工智能部署中既可行又必要。