[论文解读] Going Beyond XAI: A Systematic Survey for Explanation-Guided Learning

Yuyang Gao, Siyi Gu+4 more|arXiv (Cornell University)|Dec 7, 2022

Explainable Artificial Intelligence (XAI)被引用 9

一句话总结

本文提出了解释引导学习（Explanation-Guided Learning, EGL）框架，利用可解释人工智能（XAI）的洞见，引导深度神经网络（DNNs）提升忠实度、公平性和泛化能力。通过在模型解释上应用正则化、监督或干预，EGL 在计算机视觉（CV）和自然语言处理（NLP）任务中同时提升了模型性能与可解释性，实验结果表明，SOTA 模型的解释 F1 最高提升 471.0%，IoU 最高提升 1863.9%。

ABSTRACT

As the societal impact of Deep Neural Networks (DNNs) grows, the goals for advancing DNNs become more complex and diverse, ranging from improving a conventional model accuracy metric to infusing advanced human virtues such as fairness, accountability, transparency (FaccT), and unbiasedness. Recently, techniques in Explainable Artificial Intelligence (XAI) are attracting considerable attention, and have tremendously helped Machine Learning (ML) engineers in understanding AI models. However, at the same time, we started to witness the emerging need beyond XAI among AI communities; based on the insights learned from XAI, how can we better empower ML engineers in steering their DNNs so that the model's reasonableness and performance can be improved as intended? This article provides a timely and extensive literature overview of the field Explanation-Guided Learning (EGL), a domain of techniques that steer the DNNs' reasoning process by adding regularization, supervision, or intervention on model explanations. In doing so, we first provide a formal definition of EGL and its general learning paradigm. Secondly, an overview of the key factors for EGL evaluation, as well as summarization and categorization of existing evaluation procedures and metrics for EGL are provided. Finally, the current and potential future application areas and directions of EGL are discussed, and an extensive experimental study is presented aiming at providing comprehensive comparative studies among existing EGL models in various popular application domains, such as Computer Vision (CV) and Natural Language Processing (NLP) domains.

研究动机与目标

• 为应对日益增长的需求，即超越 XAI 仅生成解释的局限，利用解释洞见主动引导 DNN 行为，以提升性能与可信度。
• 形式化定义并建立解释引导学习（EGL）的学习范式，作为人工智能可解释性领域的新方向。
• 提供一个全面的 EGL 评估框架，包含充分性、全面性与忠实度等指标。
• 首次在 CV 和 NLP 领域开展大规模 EGL 模型对比研究，识别性能趋势与权衡关系。
• 探索 EGL 在现实世界 AI 系统中的未来应用领域与研究方向，以推动公平性、问责性、透明性与偏差缓解。

提出的方法

• 将 EGL 形式化为一种学习范式，将 XAI 驱动的解释作为监督信号，用于正则化或引导 DNN 训练。
• 应用解释监督、注意力监督与解释对齐技术，使模型推理过程与人类可解释的解释保持一致。
• 使用充分性、全面性、IoU 与解释 F1 等指标，对解释的忠实度与正确性进行定量评估。
• 在 FEVER、MultiRC 与 Movie Review 等基准数据集上开展广泛的消融实验与对比实验，以评估模型性能。
• 通过可视化注意力图与真实解释，分析准确率与解释质量之间的对齐关系与权衡。
• 将现有 EGL 方法统一归类为解释监督、注意力监督与解释对齐等术语，以统一该领域术语体系。

实验结果

研究问题

• RQ1 如何系统性地利用 XAI 洞见，超越单纯的解释生成，以引导 DNN 的训练？
• RQ2 有效的解释引导学习（EGL）框架的关键组件与评估标准是什么？
• RQ3 在 CV 与 NLP 任务中，不同 EGL 技术在忠实度、准确率与泛化能力方面的表现如何比较？
• RQ4 EGL 中模型准确率与解释质量之间存在何种权衡？如何缓解这些权衡？
• RQ5 EGL 在现实世界 AI 系统中的最具前景的应用领域与未来研究方向是什么？

主要发现

• 在 FEVER 数据集上，Expred 相较基线模型，全面性提升 394.1%，充分性降低 59.0%。
• FRESH 达到最高准确率（0.903）与 AUC，但其全面性劣于基线，表明解释质量存在权衡。
• 与基线相比，Expred 在 IoU 上提升 1863.9%，在解释 F1 上提升 471.0%，显著增强了解释的忠实度。
• Carton 等人达到最高准确率（0.903），但全面性最低，凸显了正确性与解释覆盖范围之间的权衡。
• ERASER 与 Glockner 等人表现出与真实解释的强对齐，与高 IoU 得分相关，表明其在解释定位的空间保真度方面更优。
• 本研究揭示，高注意力覆盖范围可能降低充分性，强调在评估中需平衡忠实度与正确性。