[论文解读] Explainable AI (XAI): A Systematic Meta-Survey of Current Challenges and Future Opportunities

Waddah Saeed, Christian W. Omlin|arXiv (Cornell University)|Nov 11, 2021

Explainable Artificial Intelligence (XAI)被引用 12

一句话总结

本篇系统性元综述整合了58篇XAI研究，识别并组织了可解释人工智能（Explainable AI）中的39项关键挑战与未来研究方向，明确区分了可解释性（explainability）与可理解性（interpretability），并按机器学习生命周期——设计、开发与部署——对见解进行分类，从而为在关键领域推进透明、可信且可采纳的AI系统提供了全面路线图。

ABSTRACT

The past decade has seen significant progress in artificial intelligence (AI), which has resulted in algorithms being adopted for resolving a variety of problems. However, this success has been met by increasing model complexity and employing black-box AI models that lack transparency. In response to this need, Explainable AI (XAI) has been proposed to make AI more transparent and thus advance the adoption of AI in critical domains. Although there are several reviews of XAI topics in the literature that identified challenges and potential research directions in XAI, these challenges and research directions are scattered. This study, hence, presents a systematic meta-survey for challenges and future research directions in XAI organized in two themes: (1) general challenges and research directions in XAI and (2) challenges and research directions in XAI based on machine learning life cycle's phases: design, development, and deployment. We believe that our meta-survey contributes to XAI literature by providing a guide for future exploration in the XAI area.

研究动机与目标

• 为解决现有综述中零散分布的XAI挑战与研究方向问题。
• 澄清文献中常被混淆的XAI中可解释性与可理解性的区别。
• 系统性地组织并综合XAI中的挑战与未来研究方向，依据两个主题轴：通用XAI挑战与机器学习生命周期各阶段的特定挑战。
• 为研究人员与从业者提供结构化、基于证据的参考，以推动透明且可信的AI系统发展。
• 突出XAI中的新兴机遇，包括XAI即服务（XAI-as-a-service）、上下文感知解释，以及与符号推理和自然语言生成的集成。

提出的方法

• 对58篇经同行评审的XAI论文开展系统性文献综述，依据预设的关键词及纳入/排除标准进行筛选。
• 将挑战与研究方向划分为两大主题：(1) 通用XAI挑战；(2) 机器学习生命周期各阶段——设计、开发与部署——中的挑战。
• 通过识别选定研究中的重复主题与跨领域问题，运用主题分析法对发现进行综合，实现见解归类。
• 明确区分‘可解释性’（模型决策的解释能力）与‘可理解性’（模型本身的内在可理解性），以确保术语使用的一致性。
• 评估解释模态（如文本、视觉、交互式）与交付方式（如实时、存档）对用户信任与系统透明度的影响。
• 基于识别出的差距，提出未来研究方向，包括自动化XAI（XAI-as-a-service）、与AutoML的集成，以及上下文感知的解释交付。

实验结果

研究问题

• RQ1 在现代AI系统背景下，可解释性与可理解性应如何有意义地区分？
• RQ2 在从模型设计到部署的整个机器学习生命周期中，XAI中最关键的挑战是什么？
• RQ3 XAI中的关键研究空白与未来机遇是什么，特别是在推荐系统、物联网（IoT）和5G等新兴应用领域？
• RQ4 如何在模态、时机与上下文方面有效交付解释，以增强用户信任与系统问责性？
• RQ5 自动化XAI（XAI-as-a-service）在跨多样化机器学习流水线与AutoML系统中规模化可解释性方面可发挥何种作用？

主要发现

• 本研究识别出39项不同的XAI挑战与未来研究方向，按通用与生命周期特定语境分组为主题集群。
• 监管、科学、工业及用户中心视角均强调了XAI的必要性，尤其在医疗与金融等高风险领域。
• 解释必须具备上下文感知能力，实现动态交付，并长期存储以支持问责性与用户信任。
• 对基于自然语言的解释与可响应用户‘为什么’提问的对话式AI的需求日益增长，且需支持实时响应。
• XAI-as-a-service与与AutoML工具（如H2O、MLJAR）的集成正成为新兴趋势，可实现对多样化模型的自动化解释生成。
• XAI系统的评估仍发展不足，亟需从用户与算法双重视角建立标准化、可靠的评估指标。