[论文解读] Meaningful XAI Based on User-Centric Design Methodology

Winston Maxwell, Bruno Dumas|arXiv (Cornell University)|Aug 25, 2023

Ethics and Social Impacts of AISocial Sciences被引用 3

一句话总结

本文提出了一种以用户为中心的设计方法论，用于在欧盟法规框架下，针对特定操作情境、受众对象和法律目的，生成具有‘意义’的可解释人工智能（XAI）解决方案。通过将XAI与可争议性、赋能、控制权、评估以及透明度对齐，该方法确保解释对数据科学家、操作人员、受影响个体及监管机构在高风险人工智能应用中均具有效性。

ABSTRACT

This report first takes stock of XAI-related requirements appearing in various EU directives, regulations, guidelines, and CJEU case law. This analysis of existing requirements will permit us to have a clearer vision of the purposes, the ``why'', of XAI, which we separate into five categories: contestability, empowerment/redressing information asymmetries, control over system performance, evaluation of algorithmic decisions, and public administration transparency. The analysis of legal requirements also permits us to create four categories of recipients for explainability: data science teams; human operators of the system; persons affected by algorithmic decisions, and regulators/judges/auditors. Lastly, we identify four main operational contexts for explainability: XAI for the upstream design and testing phase; XAI for human-on-the-loop control; XAI for human-in-the-loop control; and XAI for ex-post challenges and investigations.Second, we will present user-centered design methodology, which takes the purposes, the recipients and the operational context into account in order to develop optimal XAI solutions.Third, we will suggest a methodology to permit suppliers and users of high-risk AI applications to propose local XAI solutions that are effective in the sense of being ``meaningful'', for example, useful in light of the operational, safety and fundamental rights contexts. The process used to develop these ``meaningful'' XAI solutions will be based on user-centric design principles examined in the second part.Fourth, we will suggest that the European Commission issue guidelines to provide a harmonised approach to defining ``meaningful'' explanations based on the purposes, audiences and operational contexts of AI systems. These guidelines would apply to the AI Act, but also to the other EU texts requiring explanations for algorithmic systems and results.

研究动机与目标

• 识别并分类欧盟立法中推动可解释人工智能（XAI）的法律与监管驱动因素，包括指令、法规及判例法。
• 定义XAI的五个核心目的：可争议性、纠正信息不对称、对系统性能的控制权、对决策的评估，以及公共行政透明度。
• 对四类不同的解释接收者进行分类：数据科学团队、人工操作员、受影响个体，以及监管机构/审计机构。
• 将XAI映射至四种操作情境：上游设计/测试、人工在回路中的控制、人工在回路外的控制，以及事后挑战。
• 开发一种方法论，以生成在有效性、情境特定性以及与安全和基本权利原则一致方面均具优势的‘有意义’XAI解决方案。

提出的方法

• 分析欧盟法律文本及欧洲法院（CJEU）判例法，按目的和接收者提取并分类XAI要求。
• 将XAI映射至四种操作情境：设计/测试、实时人工在回路控制、人工在回路外控制，以及事后挑战。
• 应用以用户为中心的设计原则，根据特定接收者的需要、认知模型和角色定制解释。
• 提出一种结构化方法论，供人工智能供应商与用户共同开发情境感知的XAI解决方案，以满足法律与实际有效性标准。
• 建议欧洲委员会发布统一指南，以在《人工智能法案》及其他欧盟监管文本中标准化‘有意义’解释的定义。

实验结果

研究问题

• RQ1 欧盟人工智能治理框架中，推动XAI需求的主要法律与监管目的为何？
• RQ2 不同接收者群体（如受影响个体、监管机构、操作员）为实现有效性，其对解释形式的需求有何差异？
• RQ3 在何种操作情境下，XAI发挥不同功能——上游设计、实时控制，或事后审查？
• RQ4 哪些设计原则可确保XAI解决方案不仅合规，而且在实践中对多样化用户具有‘意义’？
• RQ5 如何在欧盟人工智能法规中建立统一、情境敏感的‘有意义’解释的定义？

主要发现

• XAI具有五个核心目的：可争议性、纠正信息不对称、对系统性能的控制权、对算法决策的评估，以及公共行政透明度。
• 四类不同的接收者群体需要量身定制的解释：数据科学团队、人工操作员、受影响个体，以及监管机构/审计机构。
• 识别出四种XAI的操作情境：上游设计/测试、人工在回路外的控制、人工在回路中的控制，以及事后挑战。
• 所提出的以用户为中心的设计方法论可实现情境特定、有效的XAI解决方案，且与法律义务和实际可用性保持一致。
• 本文建议欧洲委员会发布统一指南，以在欧盟人工智能立法中标准化‘有意义’解释的定义。
• 该方法论确保XAI不仅符合法律要求，而且在高风险和权利保护情境中具有实际实用性。