[论文解读] Impact of Legal Requirements on Explainability in Machine Learning

Adrien Bibal, Michaël Lognoul+2 more|arXiv (Cornell University)|Jul 10, 2020

Explainable Artificial Intelligence (XAI)参考文献 9被引用 4

一句话总结

本文分析了欧洲法律框架（如GDPR、消费者保护法和金融监管法规）如何在私人和公共决策中对机器学习模型施加不同程度的可解释性要求。该研究将法律要求映射到四个可解释性层级（主要特征、所有特征、特征组合和完整模型），表明只有可解释模型才能满足最严格的法律标准，而黑箱模型在合规性方面面临根本性限制。

ABSTRACT

The requirements on explainability imposed by European laws and their implications for machine learning (ML) models are not always clear. In that perspective, our research analyzes explanation obligations imposed for private and public decision-making, and how they can be implemented by machine learning techniques.

研究动机与目标

• 澄清欧洲法规所规定的机器学习可解释性法律义务。
• 识别并分类不同法律文本在私人和公共决策情境中对可解释性水平的差异要求。
• 评估使用现有机器学习技术满足这些法律要求的可行性。
• 突出法律期望与黑箱模型在公共部门应用中能力之间的差距。
• 呼吁法律学者与人工智能研究人员深化合作，使技术可解释性与法律标准相一致。

提出的方法

• 系统分析欧洲法律文本，包括GDPR、2011/83号指令、2019/1150号条例和2014/65号指令，以提取可解释性要求。
• 将法律要求分类为四个层级的可解释性：主要特征、所有特征、特征组合和完整模型。
• 将这些层级映射到机器学习技术：可解释模型（如线性模型、决策树）、特征重要性方法（如LIME、置换重要性）以及稀疏性技术（如Lasso）。
• 评估黑箱模型（如神经网络）在满足法律要求方面的局限性，特别是在公共决策中的表现。
• 回顾现有AI方法在法律推理中的应用，如序列到序列学习和多任务学习，以应对司法解释需求。
• 比较行政决策与司法决策的要求，强调对事实基础和法律依据以及对法律论点回应的需求。

实验结果

研究问题

• RQ1 欧洲法律框架在私人和公共决策中对机器学习系统施加的具体可解释性要求是什么？
• RQ2 不同法律文本如何界定所需解释的范围——例如，聚焦于特征、组合还是完整模型？
• RQ3 可解释机器学习模型和事后解释技术在在多大程度上能够满足透明度的法律要求？
• RQ4 为何黑箱模型无法满足最严格的法律标准，特别是在公共部门应用中？
• RQ5 在对齐机器学习可解释性与法律推理方面，如司法决策中的动机说明和论点回应，面临哪些关键挑战？

主要发现

• 欧盟法规中对机器学习可解释性的要求存在显著差异，GDPR、消费者法和金融监管法规分别设定了不同的透明度层级。
• 最弱的要求——提供主要特征——可通过黑箱模型中的特征重要性技术实现，例如基于置换的重要性或随机森林中的袋外误差。
• 披露决策中使用的所有特征的要求对高维模型构成挑战，需借助Lasso等技术实现稀疏性。
• 通过LIME等局部解释方法可实现对特征组合方式的解释，但无法实现对复杂模型的全局可解释性。
• 最强的要求——提供完整模型——仅能由本质上可解释的模型满足，因为黑箱模型（如深度神经网络）无法被完全披露或理解。
• 公共决策，特别是在司法语境下，要求解释事实基础和法律依据，并回应法律论点——这些能力目前远超标准机器学习系统的能力。