[论文解读] Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement

Leander Weber, Sebastian Lapuschkin+2 more|arXiv (Cornell University)|Mar 15, 2022

Explainable Artificial Intelligence (XAI)被引用 10

一句话总结

本文提出了一套系统性框架，不仅用于解释模型决策，更通过损失函数正则化、数据增强和架构修改等手段主动改进机器学习模型。实证结果表明，基于XAI的改进可提升模型的泛化能力、公平性与推理能力，但其有效性在很大程度上取决于模型、数据集及解释方法的选择。

ABSTRACT

Explainable Artificial Intelligence (XAI) is an emerging research field bringing transparency to highly complex and opaque machine learning (ML) models. Despite the development of a multitude of methods to explain the decisions of black-box classifiers in recent years, these tools are seldomly used beyond visualization purposes. Only recently, researchers have started to employ explanations in practice to actually improve models. This paper offers a comprehensive overview over techniques that apply XAI practically for improving various properties of ML models, and systematically categorizes these approaches, comparing their respective strengths and weaknesses. We provide a theoretical perspective on these methods, and show empirically through experiments on toy and realistic settings how explanations can help improve properties such as model generalization ability or reasoning, among others. We further discuss potential caveats and drawbacks of these methods. We conclude that while model improvement based on XAI can have significant beneficial effects even on complex and not easily quantifyable model properties, these methods need to be applied carefully, since their success can vary depending on a multitude of factors, such as the model and dataset used, or the employed explanation method.

研究动机与目标

• 为弥合当前XAI模型改进研究中系统性理解的空白，该研究聚焦于可操作的模型增强而非仅限于解释。
• 基于目标模型属性、增强组件、人工参与程度及模型无关性，对现有基于XAI的模型改进技术进行分类与比较。
• 在玩具数据集与真实世界任务上实证评估XAI驱动改进对泛化能力、推理能力与公平性的影响。
• 识别使用解释指导模型训练与架构修改时面临的关键挑战、局限性及潜在副作用。
• 为研究人员与实践者提供实用建议，明确在何种情境下以及如何有效应用XAI实现模型改进。

提出的方法

• 提出一个统一的理论框架，从改进属性（如公平性、推理能力）、增强组件（如损失函数、数据、架构）及人工参与程度等维度，对基于XAI的模型改进技术进行分类。
• 将方法划分为三大类：基于解释的损失函数正则化、基于解释引导的数据增强，以及基于解释洞察的后训练模型修改（如剪枝、量化）。
• 采用基于梯度且可微分的解释方法（如显著性图），实现通过解释信号的反向传播，支持端到端的XAI增强正则化训练。
• 在合成（玩具）数据集与真实世界数据集上开展受控实验，评估基于XAI的增强对模型性能与行为的影响。
• 分析超参数、归一化方式及解释方法选择对XAI驱动改进的可靠性与有效性的影响力。
• 在推理与公平性改进中引入人机协同反馈机制，利用解释识别并惩罚对虚假或偏见特征的依赖。

实验结果

研究问题

• RQ1 如何系统性地利用XAI改进模型属性，而不仅限于准确率，如推理能力、公平性与泛化能力？
• RQ2 基于XAI的模型改进方法的主要类别是什么？它们在有效性、可扩展性与人工参与程度方面有何差异？
• RQ3 基于XAI的改进在多大程度上依赖于解释方法、模型架构、数据集及超参数的选择？
• RQ4 使用解释指导模型训练或架构修改可能带来哪些潜在副作用或意外后果？
• RQ5 即使在标准指标上出现轻微性能下降的情况下，基于XAI的改进是否仍能实现鲁棒性与公平性等语义属性的可测量提升？

主要发现

• 基于XAI的模型改进可显著提升模型的泛化能力与推理能力，尤其当利用解释对损失函数进行正则化并惩罚对虚假特征的依赖时效果更明显。
• 基于梯度的解释进行损失函数正则化是最具普适性与有效性的方法，但受限于可微性要求，目前仅适用于如显著性图等特定方法。
• 基于解释的数据增强可提升模型的鲁棒性与公平性，尤其在结合人工反馈以纠正偏见特征使用时效果更佳。
• 基于解释的剪枝或量化等后训练修改可提升模型效率，但对提升推理能力或公平性无效。
• XAI驱动改进的成功高度依赖于解释方法、模型、数据集与超参数的选择，其效果在不同设置中常表现微弱或不一致。
• 提升推理或公平性等语义属性可能导致标准性能指标（如准确率）下降，表明传统指标可能不再足以评估可信AI。