[论文解读] Are All Spurious Features in Natural Language Alike? An Analysis through a Causal Lens

Nitish Joshi, Xiang Pan+1 more|arXiv (Cornell University)|Oct 25, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文提出一种基于必要性概率（PN）与充分性概率（PS）的因果框架，用于区分自然语言处理（NLP）中的两类虚假特征：无关特征（低PN，低PS）与必要特征（高PN，低PS）。研究发现，现有去偏方法在必要虚假特征上失效，因其本质上对预测不可或缺，移除后会导致性能下降。因此，本文呼吁针对此类特征设计定制化的评估与训练方法。

ABSTRACT

The term `spurious correlations' has been used in NLP to informally denote any undesirable feature-label correlations. However, a correlation can be undesirable because (i) the feature is irrelevant to the label (e.g. punctuation in a review), or (ii) the feature's effect on the label depends on the context (e.g. negation words in a review), which is ubiquitous in language tasks. In case (i), we want the model to be invariant to the feature, which is neither necessary nor sufficient for prediction. But in case (ii), even an ideal model (e.g. humans) must rely on the feature, since it is necessary (but not sufficient) for prediction. Therefore, a more fine-grained treatment of spurious features is needed to specify the desired model behavior. We formalize this distinction using a causal model and probabilities of necessity and sufficiency, which delineates the causal relations between a feature and a label. We then show that this distinction helps explain results of existing debiasing methods on different spurious features, and demystifies surprising results such as the encoding of spurious features in model representations after debiasing.

研究动机与目标

• 为解决NLP中不同类型虚假特征之间缺乏细粒度区分的问题，特别是那些对预测必不可少的特征。
• 利用因果概念形式化区分无关虚假特征（低PN，低PS）与必要虚假特征（高PN，低PS）。
• 证明当前去偏方法——尤其是数据平衡与表征去偏——在必要虚假特征上失效，原因在于其对标签存在固有依赖。
• 挑战在模型鲁棒性评估与训练中将所有虚假特征一视同仁的假设。
• 倡导为必要虚假特征量身定制新的训练与评估范式，尤其考虑到大语言模型（LLMs）在处理罕见特征组合方面的潜力。

提出的方法

• 使用因果模型形式化虚假特征，将必要性概率（PN）与充分性概率（PS）定义为反事实度量。
• 利用PN与PS对虚假特征进行分类：低PN/低PS对应无关特征（如导演姓名），高PN/低PS对应必要特征（如否定词）。
• 提出必要虚假特征无法通过数据平衡或表征去偏方法安全地移除或解耦，否则将损害性能。
• 主张评估对必要特征的鲁棒性需依赖上下文感知的扰动，因其与其他特征相互作用以影响标签。
• 使用结构因果模型（SCMs）表示输入特征、标签与混淆因子，通过反事实干预估计PN与PS。
• 强调强制独立性（如通过数据平衡）或不变性（如通过表征去偏）在高PN特征上失效，因其在数据生成过程中具有因果必要性。

实验结果

研究问题

• RQ1 NLP中的所有虚假特征是否具有同等危害性，还是其与标签的因果关系存在差异？
• RQ2 如何形式化区分对预测无关（低PN，低PS）与必要（高PN，低PS）的虚假特征？
• RQ3 为何标准去偏方法（如数据平衡与表征去偏）在必要虚假特征上无法提升鲁棒性？
• RQ4 必要虚假特征与上下文特征之间的相互作用如何加剧模型鲁棒性评估的复杂性？
• RQ5 鉴于其因果必要性，应采取何种训练与评估策略以应对必要虚假特征？

主要发现

• 必要虚假特征（如否定词）具有高必要性概率（PN）但低充分性概率（PS），即对预测至关重要，但单独存在时不足以决定标签。
• 数据平衡方法无法在必要虚假特征上实现性能不变，因其特征-标签依赖关系为因果关系而非相关关系。
• 表征去偏方法在应用于必要虚假特征时会显著损害模型性能，因其移除了对正确预测至关重要的特征。
• 无关与必要虚假特征之间的区分解释了为何某些去偏方法看似能从表征中移除虚假特征，同时仍保持性能。
• 现有概念如反事实不变性与统一输入特征（UIF）不适用于高PN特征，因其在真实数据生成过程中与标签存在因果依赖。
• 大语言模型（LLMs）可能为处理罕见或未见的必要虚假特征组合提供新路径，因其具备强大的上下文学习与 few-shot 泛化能力。