[论文解读] Debiasing Concept-based Explanations with Causal Analysis

Mohammad Taha Bahadori, David Heckerman|arXiv (Cornell University)|Jul 22, 2020

Explainable Artificial Intelligence (XAI)参考文献 18被引用 8

一句话总结

本文提出了一种用于机器学习中基于概念解释的因果去偏方法，利用工具变量文献中的两阶段回归技术，从概念表征中去除混杂因素和噪声。通过建模未观测到的混杂因素并利用标签作为工具变量，该方法在合成数据和真实世界数据集上均提升了解释质量和预测准确性，尤其在概念不完整的情况下表现更优。

ABSTRACT

Concept-based explanation approach is a popular model interpertability tool because it expresses the reasons for a model's predictions in terms of concepts that are meaningful for the domain experts. In this work, we study the problem of the concepts being correlated with confounding information in the features. We propose a new causal prior graph for modeling the impacts of unobserved variables and a method to remove the impact of confounding information and noise using a two-stage regression technique borrowed from the instrumental variable literature. We also model the completeness of the concepts set and show that our debiasing method works when the concepts are not complete. Our synthetic and real-world experiments demonstrate the success of our method in removing biases and improving the ranking of the concepts in terms of their contribution to the explanation of the predictions.

研究动机与目标

• 解决由于未观测到的混杂因素或概念表征中的噪声导致的特征与概念之间的虚假相关性问题。
• 构建一个因果先验图，以建模潜在混杂因素和概念不完整性对概念表征的影响。
• 通过利用标签作为工具变量，去除混杂影响，从而提升基于概念的解释的保真度。
• 通过使用去偏的概念向量，在概念瓶颈模型（CBM）和TCAV中提升标签预测的准确性。
• 在具有真实标签的合成数据和CUB-200-2011等真实世界数据集上验证该方法，展示其在概念排序和解释质量方面的改进。

提出的方法

• 提出一种新的因果先验图，用于建模未观测到的混杂因素对特征、概念和标签的影响，同时考虑概念不完整性。
• 利用工具变量文献中的两阶段回归技术，通过将标签作为工具变量来对概念表征进行去偏。
• 首先，利用标签作为工具变量估计去偏后的概念，以去除混杂影响；其次，从特征中预测这些去偏后的概念；最后，利用它们来预测标签。
• 显式建模概念的完整性，并证明即使概念集合不全面，该方法依然有效。
• 可选地，识别出未被概念捕获的特征中的残余预测信息，从而实现对缺失或不完整概念的检测。
• 将该方法应用于概念瓶颈模型（CBM）和使用概念激活向量进行测试（TCAV）框架中，以提升可解释性和预测性能。

实验结果

研究问题

• RQ1 是否能够有效去除特征-概念关系中的混杂因素和噪声，从而提升基于概念的解释质量？
• RQ2 所提出的因果先验图如何建模未观测到的混杂因素和概念不完整性对概念表征的影响？
• RQ3 在存在混杂因素的情况下，使用标签作为工具变量在多大程度上提升了概念恢复和标签预测的准确性？
• RQ4 该去偏方法是否能提升概念根据其对模型预测真实贡献程度的排序准确性？
• RQ5 该方法是否能在真实世界视觉数据集（如CUB-200-2011）中提升可解释性和预测性能？

主要发现

• 在具有真实标签的合成数据上，该去偏方法显著提升了在存在混杂因素和噪声情况下的真实概念恢复准确性。
• 在CUB-200-2011数据集上，去偏方法根据概念对预测的贡献程度对概念进行排序的准确性优于标准的概念瓶颈模型。
• 该方法通过减少特征与概念之间虚假相关性的影响，提升了CBM中的标签预测准确性。
• 定性示例表明，去偏处理能消除由上下文驱动的伪影，使基于概念的解释更加忠实且可解释。
• 两阶段回归方法即使在概念不完整的情况下，也能有效去除混杂因素和噪声的影响。
• 将标签用作工具变量成功地从受混杂影响的特征中分离出真实的预测信号，从而增强了模型的可解释性。