[论文解读] How can we fool LIME and SHAP? Adversarial Attacks on Post hoc Explanation Methods.

Dylan Slack, Sophie Hilgard+3 more|arXiv (Cornell University)|Nov 6, 2019

Explainable Artificial Intelligence (XAI)参考文献 11被引用 29

一句话总结

本文表明，通过对抗性脚手架技术，后训练解释方法（如 LIME 和 SHAP）可被系统性地欺骗，即即使模型保留有害偏见，也会被修改为生成看似公平的解释。作者证明，即使极度种族主义的分类器也能被隐藏，使其不被解释工具检测到，从而导致其在高风险人工智能系统中无法有效检测偏见。

ABSTRACT

As machine learning black boxes are increasingly being deployed in domains such as healthcare and criminal justice, there is growing emphasis on building tools and techniques for explaining these black boxes in an interpretable manner. Such explanations are being leveraged by domain experts to diagnose systematic errors and underlying biases of black boxes. In this paper, we demonstrate that post hoc explanations techniques that rely on input perturbations, such as LIME and SHAP, are not reliable. Specifically, we propose a novel scaffolding technique that effectively hides the biases of any given classifier by allowing an adversarial entity to craft an arbitrary desired explanation. Our approach can be used to scaffold any biased classifier in such a way that its predictions on the input data distribution still remain biased, but the post hoc explanations of the scaffolded classifier look innocuous. Using extensive evaluation with multiple real-world datasets (including COMPAS), we demonstrate how extremely biased (racist) classifiers crafted by our framework can easily fool popular explanation techniques such as LIME and SHAP into generating innocuous explanations which do not reflect the underlying biases.

研究动机与目标

• 调查后训练解释方法（如 LIME 和 SHAP）在检测模型偏见方面的可靠性。
• 揭示依赖输入扰动的解释技术中的漏洞。
• 开发一种框架，使攻击者能够隐藏模型偏见，同时保持预测性能。
• 证明即使高度有偏见的分类器，也能在 LIME 和 SHAP 下生成无害的解释。
• 挑战后训练解释可作为模型行为无偏诊断工具的假设。

提出的方法

• 作者提出一种脚手架技术，通过修改有偏见的分类器，使其生成的输入对 LIME 和 SHAP 等解释方法而言显得具有代表性。
• 该脚手架模型在原始数据分布上保持高准确率，同时确保解释方法所用的扰动产生均匀分布、无歧视性的特征重要性分数。
• 该方法使用对抗性训练，使模型的局部解释与期望的、良性的解释模式对齐，而无论其实际决策过程如何。
• 该框架应用于真实世界数据集（包括 COMPAS），以模拟刑事司法风险评估等高风险场景。
• 该方法确保模型在预测中仍保持有偏见，但在后训练解释中表现得看似公平。
• 该方法利用 LIME 和 SHAP 对输入扰动的固有敏感性，通过依赖局部线性近似，掩盖底层偏见。

实验结果

研究问题

• RQ1 能否通过对抗性脚手架隐藏分类器中的系统性偏见，同时保持其预测性能？
• RQ2 LIME 和 SHAP 在多大程度上会被误导，为有偏见的模型生成无害的解释？
• RQ3 该脚手架技术在使有偏模型在标准解释工具下表现得看似公平方面有多有效？
• RQ4 该框架能否应用于具有高风险影响的真实世界数据集（如刑事司法或医疗保健）？
• RQ5 依赖后训练解释方法来审计模型公平性存在哪些局限性？

主要发现

• 所提出的脚手架技术成功隐藏了类似 COMPAS 的分类器中的极端种族偏见，同时在原始数据上保持了高预测准确率。
• LIME 和 SHAP 为该脚手架模型生成了均匀分布、无歧视性的特征重要性分数，错误地表明其公平性。
• 即使原始分类器表现出明显的种族差异，后训练解释在多个评估指标下仍表现为无害且无偏见。
• 该框架表明，解释工具不能被信任为模型公平性的独立验证者，因为它们可能被操纵以隐藏潜在偏见。
• 结果表明，后训练解释方法容易受到对抗性操纵，从而削弱其在审计高风险人工智能系统中的实用性。