[论文解读] DAX: deep argumentative eXplanation for neural networks

Emanuele Albini, Piyawat Lertvittayakumjorn+2 more|arXiv (Cornell University)|Dec 10, 2020

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

DAX 引入了一种深度论证性解释框架，利用计算论证来增强神经网络的透明度，提供可解释、人类可理解的解释。实证评估表明，DAX 提升了解释的稳定性，降低了计算成本，并与人类判断保持一致，在用户接受度方面优于现有的论证性 XAI 方法。

ABSTRACT

Despite the rapid growth in attention on eXplainable AI (XAI) of late, explanations in the literature provide little insight into the actual functioning of Neural Networks (NNs), significantly limiting their transparency. We propose a methodology for explaining NNs, providing transparency about their inner workings, by utilising computational argumentation (a form of symbolic AI offering reasoning abstractions for a variety of settings where opinions matter) as the scaffolding underpinning Deep Argumentative eXplanations (DAXs). We define three DAX instantiations (for various neural architectures and tasks) and evaluate them empirically in terms of stability, computational cost, and importance of depth. We also conduct human experiments with DAXs for text classification models, indicating that they are comprehensible to humans and align with their judgement, while also being competitive, in terms of user acceptance, with existing approaches to XAI that also have an argumentative spirit.

研究动机与目标

• 通过开发一种解释神经网络内部运作机制的方法，解决其缺乏透明度的问题，超越表面层次的注意力图。
• 将计算论证作为推理支架，以建模神经网络决策背后的逻辑。
• 在多种神经网络架构和任务中，评估 DAX 的稳定性、计算效率以及推理深度的重要性。
• 通过受控的人类实验，验证 DAX 解释的可理解性及其与人类判断的一致性。
• 证明论证性解释既可以可解释，又能与现有 XAI 方法相媲美。

提出的方法

• DAX 利用计算论证将解释结构化为逻辑论证，建模神经网络预测背后的推理过程。
• 它定义了三种针对不同神经网络架构和任务的 DAX 实例化形式，确保在不同模型类型中的适应性。
• 该方法通过识别并排序源自激活模式和模型行为的论证性组件（例如前提、结论）来生成解释。
• 通过在学习表征上进行符号推理来构建解释，从而实现可追溯且可解释的论证依据。
• DAX 集成了符号与非符号组件，将神经网络输出与结构化论证框架相结合。
• 该框架通过稳定性分析、计算成本测量以及人类评估进行评估，以衡量解释质量和用户接受度。

实验结果

研究问题

• RQ1 如何有效利用计算论证来解释神经网络的内部运作？
• RQ2 与现有 XAI 方法相比，DAX 解释在提升稳定性并降低计算成本方面达到何种程度？
• RQ3 DAX 中论证性推理的深度在多大程度上影响了解释质量和模型可解释性？
• RQ4 DAX 解释是否对人类可理解，并在文本分类任务中与人类判断保持一致？
• RQ5 在用户接受度和解释质量方面，DAX 与其他论证性 XAI 方法相比表现如何？

主要发现

• DAX 解释在多次运行中表现出高度稳定性，表明其能够一致地生成可靠的解释。
• 生成 DAX 解释的计算成本显著低于竞争性的基于注意力的 XAI 方法。
• DAX 中更深层次的论证结构提升了解释质量，尤其在复杂决策场景中表现更优。
• 人类参与者认为 DAX 解释具有可理解性，并在文本分类任务中报告其与自身推理高度一致。
• 在受控的人类评估中，DAX 的用户接受度水平与现有论证性 XAI 方法相当或更优。
• 将符号论证与神经表征相结合，使得解释比纯粹黑箱或基于注意力的方法更具可解释性和可追溯性。