[论文解读] Fairness and Explainability in Automatic Decision-Making Systems. A challenge for computer science and law

Thierry Kirat, Olivia Tambou+2 more|arXiv (Cornell University)|May 14, 2022

Digitalization, Law, and Regulation被引用 4

一句话总结

本文通过分析自动化决策系统中的公平性与可解释性，弥合了计算机科学与法律之间的鸿沟，强调监督学习中的技术选择具有社会与法律影响。文章比较了美国与欧洲的法律框架对公平性的规定，揭示了法律可解释性概念的多义性，并呼吁开展跨学科合作，以应对算法决策系统中规范性、技术性与法律性的权衡。

ABSTRACT

The paper offers a contribution to the interdisciplinary constructs of analyzing fairness issues in automatic algorithmic decisions. Section 1 shows that technical choices in supervised learning have social implications that need to be considered. Section 2 proposes a contextual approach to the issue of unintended group discrimination, i.e. decision rules that are facially neutral but generate disproportionate impacts across social groups (e.g., gender, race or ethnicity). The contextualization will focus on the legal systems of the United States on the one hand and Europe on the other. In particular, legislation and case law tend to promote different standards of fairness on both sides of the Atlantic. Section 3 is devoted to the explainability of algorithmic decisions; it will confront and attempt to cross-reference legal concepts (in European and French law) with technical concepts and will highlight the plurality, even polysemy, of European and French legal texts relating to the explicability of algorithmic decisions. The conclusion proposes directions for further research.

研究动机与目标

• 探讨监督学习中的技术选择如何在算法设计之外，固有地蕴含社会与法律影响。
• 比较美国与欧洲法律体系中的公平性标准，特别是针对自动化决策中差异性影响及表面上中立的决策规则。
• 分析算法决策中可解释性的法律与技术维度，尤其关注欧洲与法国法律文本中概念的模糊性与多重含义。
• 识别现有跨学科研究在国家法律体系及其对算法公平性与可解释性影响方面的空白。
• 提出未来研究方向，整合法律规范、社会价值与技术可行性，以优化自动化决策系统。

提出的方法

• 采用情境化法律分析方法，比较美国反歧视法与欧洲非歧视法中的公平性标准。
• 以经验风险最小化（ERM）作为监督学习的核心技术框架，重点关注损失函数、假设类与评估基准。
• 将偏差分类为数据偏差与算法偏差，追溯其在数据收集、模型选择与评估过程中的根源。
• 将法律中的可解释性概念（如GDPR与法国法中的规定）与技术可解释性方法进行交叉比对，凸显概念的多义性。
• 提出公理化框架以建模决策者的价值取向，例如“所见即所得”与“我们人人平等”之间的对比，以评估公平性影响。
• 开展规范性分析，探讨公平性、公共安全与其他社会目标之间的权衡，以COMPAS再犯预测工具为例。

实验结果

研究问题

• RQ1 监督学习中的技术选择（如数据收集、模型选择与损失函数）如何产生非预期的社会后果？
• RQ2 美国与欧洲法律体系在自动化决策中对差异性影响的公平性标准有何关键差异？
• RQ3 欧洲与法国法律中的可解释性概念与机器学习中的技术可解释性方法在哪些方面不同或一致？
• RQ4 在设计公平且可解释的算法系统时，法律与技术约束在多大程度上可以调和？
• RQ5 如何在算法决策中正式建模社会价值观与规范偏好，以确保与法律与伦理标准保持一致？

主要发现

• 监督学习中的技术选择（如数据收集、模型类别与损失函数）直接影响公平性结果，并蕴含固有的社会影响。
• 美国与欧洲法律体系倡导不同的公平性标准：美国强调差异性影响与个体公平性，而欧洲强调非歧视与程序权利。
• 欧洲与法国法律文本中的可解释性表述存在多义性，'可解释性'一词存在多种解释，增加了法律合规与技术实现的复杂性。
• 本研究识别出在非美国与欧盟国家法律体系（尤其是亚洲、大洋洲与拉丁美洲）研究中的关键空白。
• 在算法决策中，最大化公共安全与减少种族差异之间存在根本性张力，COMPAS再犯预测案例已清晰表明这一点。
• 公平性无法简化为纯粹的技术问题；它需要明确的社会与法律规范性选择，例如在机会均等与人口比例公平之间进行权衡。