[论文解读] CEBaB: Estimating the Causal Effects of Real-World Concepts on NLP Model Behavior

Eldar David Abraham, Karel D’Oosterlinck+6 more|arXiv (Cornell University)|May 27, 2022

Topic Modeling被引用 6

一句话总结

本文提出了 CEBaB，一个基于因果推断的基准，用于评估自然语言处理中基于概念的解释方法。通过生成隔离现实世界概念（如食物、服务）对模型行为影响的反事实餐厅评论，该基准实现了对 TCAV、ConceptSHAP 和 LIME 等方法的严格比较。其采用经验证的方面级和整体情感标注，建立了真实 NLP 场景中因果效应估计的自然度量标准。

ABSTRACT

The increasing size and complexity of modern ML systems has improved their predictive capabilities but made their behavior harder to explain. Many techniques for model explanation have been developed in response, but we lack clear criteria for assessing these techniques. In this paper, we cast model explanation as the causal inference problem of estimating causal effects of real-world concepts on the output behavior of ML models given actual input data. We introduce CEBaB, a new benchmark dataset for assessing concept-based explanation methods in Natural Language Processing (NLP). CEBaB consists of short restaurant reviews with human-generated counterfactual reviews in which an aspect (food, noise, ambiance, service) of the dining experience was modified. Original and counterfactual reviews are annotated with multiply-validated sentiment ratings at the aspect-level and review-level. The rich structure of CEBaB allows us to go beyond input features to study the effects of abstract, real-world concepts on model behavior. We use CEBaB to compare the quality of a range of concept-based explanation methods covering different assumptions and conceptions of the problem, and we seek to establish natural metrics for comparative assessments of these methods.

研究动机与目标

• 为解决当前缺乏标准化、真实世界基准来评估 NLP 中基于概念的解释方法的问题。
• 将模型解释问题重新定义为因果推断问题，估计现实世界概念对模型预测的影响。
• 提供一个丰富且结构化的数据集，包含经人工验证的反事实样本，以支持解释技术的因果评估。
• 定义自然且可比较的度量标准，用于评估基于概念的解释方法的质量。
• 通过真实世界数据和因果估计，实现对 TCAV、ConceptSHAP 和 LIME 等方法的公平、实证比较。

提出的方法

• CEBaB 由 2,299 条原始 OpenTable 评论构建，通过众包方式对四个方面（食物、服务、氛围、噪音）进行反事实编辑，扩展为 15,089 个文本。
• 每条文本均标注方面级情感（+、–、unk）和整体情感（1–5 星），每条文本由五名众包工作者进行验证。
• 该基准通过在保持其他因素不变的情况下对特定概念实施干预，支持因果估计，从而可估计单个概念对模型输出的影响。
• 使用 ICaCE（干预性概念因果效应）度量评估解释方法，该度量衡量方法预测概念被干预后模型输出变化的能力。
• TCAV、ConceptSHAP 和 LIME 均基于相同的因果估计框架进行适配与评估，通过归一化和一致的超参数设置实现公平比较。
• 概念方向通过在标注方面数据上训练的 SVM 学习 CAV 得到，完整性分数用于验证概念表征的质量。

实验结果

研究问题

• RQ1 基于概念的解释方法在多大程度上能准确估计现实世界概念对 NLP 模型预测的真正因果效应？
• RQ2 在真实世界 NLP 数据上，TCAV、ConceptSHAP 和 LIME 在估计因果效应方面的相对表现如何？
• RQ3 一个包含人工验证反事实的基准能否为解释方法提供可靠且可比较的评估度量？
• RQ4 完整性分数与模型性能如何与因果效应估计的质量相关联？
• RQ5 当概念被单独修改时，不同解释方法在多大程度上能捕捉到真实的干预效应？

主要发现

• CEBaB 提供了一个丰富且经验证的数据集，包含 15,089 对文本（原始与反事实），覆盖四个方面，支持精确的因果效应估计。
• 所有模型在完整概念集合（食物、服务、氛围、噪音）上的完整性分数均超过 0.9，表明概念表征质量优异。
• TCAV、ConceptSHAP 和 LIME 均基于相同的因果估计框架进行评估，结果显示其在 ICaCE 估计精度上存在可测量的差异。
• 在 TCAV 中使用归一化方向导数和 Tanh 归一化，提升了其与基于概率的因果度量的兼容性。
• ConceptSHAP 被调整为输出基于概率的贡献值，而非准确率比率，从而可与其它因果估计器直接比较。
• 该基准支持对单个概念效应的隔离，证明了在真实世界 NLP 场景中因果估计的可行性与可测量性。