[论文解读] EU regulations on algorithmic decision-making and a "right to explanation".

Bryce Goodman, Seth Flaxman|arXiv (Cornell University)|Jun 28, 2016

Artificial Intelligence in Healthcare and Education被引用 137

一句话总结

本文研究了欧盟《通用数据保护条例》（GDPR）对机器学习算法的影响，特别是其对自动化个体决策的限制以及‘解释权’的引入。文章认为，尽管这些法规对产业构成了重大挑战，但也为计算机科学家通过新的设计与评估框架开发更公平、更具可解释性的算法创造了机遇。

ABSTRACT

We summarize the potential impact that the European Union's new General Data Protection Regulation will have on the routine use of machine learning algorithms. Slated to take effect as law across the EU in 2018, it will restrict automated individual decision-making (that is, algorithms that make decisions based on user-level predictors) which significantly affect users. The law will also effectively create a right to explanation, whereby a user can ask for an explanation of an algorithmic decision that was made about them. We argue that while this law will pose large challenges for industry, it highlights opportunities for computer scientists to take the lead in designing algorithms and evaluation frameworks which avoid discrimination and enable explanation.

研究动机与目标

• 分析欧盟GDPR将如何监管显著影响个人的自动化决策系统。
• 考察‘解释权’在实践中对机器学习系统的影响。
• 识别GDPR为产业在部署不透明算法时带来的挑战。
• 突出计算机科学家在设计可解释且无歧视算法方面所面临的机遇。
• 提出开发支持监管约束下透明性与公平性的新型算法框架。

提出的方法

• 分析GDPR法律文本，特别是第22条以及第13至15条，以识别对自动化决策的要求。
• 将监管要求映射到机器学习系统的技术约束上。
• 建议计算机科学家应设计具有内在可解释性的算法，以满足解释权要求。
• 倡导开发用于评估算法决策中公平性、透明度与可解释性的评估框架。
• 建议将解释生成作为机器学习流程中的核心组件进行整合。
• 将计算机科学定位为在欧盟法律框架下开发合规、伦理AI系统的核心力量。

实验结果

研究问题

• RQ1 GDPR如何限制机器学习系统中的自动化个体决策？
• RQ2 在GDPR下，‘解释权’对用户和开发者的具体含义是什么？
• RQ3 产业与研究人员在遵守GDPR透明度要求方面面临哪些技术挑战？
• RQ4 计算机科学家如何在监管约束下推动构建可解释且公平的机器学习系统？
• RQ5 为支持GDPR的透明性与非歧视原则，需要哪些新型算法与评估框架？

主要发现

• GDPR将限制显著影响个人的自动化决策，特别是基于个人数据的决策。
• 该法规为个人设立了法律权利，即有权获得关于其自身算法决策的解释。
• 遵守‘解释权’要求将需要在机器学习模型的设计与部署方式上进行重大调整。
• 该法规为计算机科学家开发具有内在可解释性与公平性的算法提供了强大激励。
• 研究人员在创建确保透明性并减少偏差的评估框架方面，正面临日益增长的机遇。
• GDPR的要求凸显了需要采用新技术方法，将可解释性嵌入机器学习生命周期。