[论文解读] Flexible and Context-Specific AI Explainability: A Multidisciplinary Approach

Valérie Beaudouin, Isabelle Bloch+7 more|HAL (Le Centre pour la Communication Scientifique Directe)|Mar 13, 2020

Explainable Artificial Intelligence (XAI)被引用 10

一句话总结

本文提出了一种多学科框架，用于特定情境下的人工智能可解释性，通过整合技术、法律和经济因素，确定特定人工智能系统的最优解释水平。通过评估情境因素、可用技术工具以及成本效益权衡，该框架能够实现透明、安全且符合监管要求的全局与局部解释。

ABSTRACT

The recent enthusiasm for artificial intelligence (AI) is due principally to advances in deep learning. Deep learning methods are remarkably accurate, but also opaque, which limits their potential use in safety-critical applications. To achieve trust and accountability, designers and operators of machine learning algorithms must be able to explain the inner workings, the results and the causes of failures of algorithms to users, regulators, and citizens. The originality of this paper is to combine technical, legal and economic aspects of explainability to develop a framework for defining the "right" level of explain-ability in a given context. We propose three logical steps: First, define the main contextual factors, such as who the audience of the explanation is, the operational context, the level of harm that the system could cause, and the legal/regulatory framework. This step will help characterize the operational and legal needs for explanation, and the corresponding social benefits. Second, examine the technical tools available, including post hoc approaches (input perturbation, saliency maps...) and hybrid AI approaches. Third, as function of the first two steps, choose the right levels of global and local explanation outputs, taking into the account the costs involved. We identify seven kinds of costs and emphasize that explanations are socially useful only when total social benefits exceed costs.

研究动机与目标

• 解决政策文件中关于可解释性含义及其在不同情境下应用方式的模糊性问题。
• 开发一种系统化方法，根据受众、风险、法规和运营需求确定适当的可解释性水平。
• 将技术工具（如事后解释和混合人工智能）整合到可解释性的结构化决策过程中。
• 在可解释性的社会收益与数据存储、计算开销和实现复杂性等成本之间实现平衡。
• 将可解释性定位为核心性能指标和安全要求，与法规和伦理标准保持一致。

提出的方法

• 识别四个关键情境因素：受众/接收方、影响/潜在危害、监管框架和操作情境。
• 梳理可用于可解释性的可用技术工具，包括输入扰动、显著性图以及符号与机器学习相结合的混合方法。
• 评估与解释相关的七类成本（如存储、计算、审计、法律、声誉、机会和监控成本）。
• 应用成本效益分析，确定全局解释与局部解释的最优平衡，确保总社会效益超过总成本。
• 提出一种类似Solvency II的风险评估与监督机制，由独立监管机构对高风险人工智能系统进行压力测试和认证。
• 将人工智能影响评估作为正式机制，用于权衡情境因素并设计符合情境的可解释性解决方案。

实验结果

研究问题

• RQ1 哪些情境因素应决定人工智能系统中可解释性的水平和形式？
• RQ2 如何根据运营和监管需求选择技术工具（如显著性图和混合人工智能）？
• RQ3 实施可解释性的主要成本是什么？这些成本如何影响解释系统的设计与可行性？
• RQ4 可解释性如何与高风险人工智能应用中的安全认证和法规合规性相协调？
• RQ5 在多大程度上，可解释性能同时服务于操作和伦理目的，例如保障基本权利和系统问责制？

主要发现

• 可解释性并非‘一刀切’的要求；其形式和深度必须根据情境定制，由受众、风险、法规和运营需求驱动。
• 该框架识别出可解释性的七类不同成本，其中单个决策日志存储是局部解释的主要成本。
• 混合人工智能方法——将符号推理与机器学习相结合——在关键安全领域中，为提升可解释性与性能提供了有前景的路径。
• 可解释性应作为设计的一部分嵌入，而非事后补救，尤其是在高风险系统中。
• 监管监督（参照金融与工业安全标准，如Solvency II）对于确保风险评估与缓解策略的稳健性及独立验证至关重要。
• 人工智能影响评估是系统权衡情境因素并设计适度、恰当可解释性解决方案的合适制度机制。