[论文解读] Decorrelate Irrelevant, Purify Relevant: Overcome Textual Spurious Correlations from a Feature Perspective

Shihan Dou, Rui Zheng+6 more|arXiv (Cornell University)|Feb 16, 2022

Natural Language Processing Techniques被引用 7

一句话总结

该论文提出 DePro，一种端到端框架，通过使用随机傅里叶特征（RFF）对无关特征进行去相关化，并利用基于互信息的方法净化结果特征，从而缓解文本中的虚假相关性，增强与任务相关的表征学习。该方法在自然语言理解（NLU）任务的分布外（OOD）泛化上取得了最先进性能，在 MNLI 和 FEVER 基准测试中优于先前的去偏方法。

ABSTRACT

Natural language understanding (NLU) models tend to rely on spurious correlations (i.e., dataset bias) to achieve high performance on in-distribution datasets but poor performance on out-of-distribution ones. Most of the existing debiasing methods often identify and weaken these samples with biased features (i.e., superficial surface features that cause such spurious correlations). However, down-weighting these samples obstructs the model in learning from the non-biased parts of these samples. To tackle this challenge, in this paper, we propose to eliminate spurious correlations in a fine-grained manner from a feature space perspective. Specifically, we introduce Random Fourier Features and weighted re-sampling to decorrelate the dependencies between features to mitigate spurious correlations. After obtaining decorrelated features, we further design a mutual-information-based method to purify them, which forces the model to learn features that are more relevant to tasks. Extensive experiments on two well-studied NLU tasks demonstrate that our method is superior to other comparative approaches.

研究动机与目标

• 为解决现有去偏方法因整体削弱包含偏见特征的样本，从而阻碍从非偏见部分学习的问题。
• 通过在表征空间中对无关特征与相关特征之间的依赖关系进行去相关，实现在特征层面缓解虚假相关性。
• 通过净化去相关后的特征以突出任务相关的局部特征，提升模型在分布外（OOD）数据集上的泛化能力。
• 开发一种端到端、计算高效的框架，避免先前方法中常见的复杂、不可微的训练过程。

提出的方法

• 使用随机傅里叶特征（RFF）将输入特征映射到高维空间，以同时去相关线性和非线性特征依赖关系。
• 在 RFF 变换后的空间中应用加权重采样，以降低特征间的互协方差，有效实现去相关。
• 引入基于显著性图的方法，识别每个输入样本中有用的局部特征（例如，与预测相关的词元）。
• 采用基于互信息的策略，通过将全局句子表征与最相关的局部特征对齐，实现对全局表征的净化。
• 在单一端到端训练流程中结合特征去相关与净化，实现无需外部偏见模型的联合优化。
• 采用 RFF 而非 VAE 方法，以保留特征信息并避免压缩导致的性能损失。

实验结果

研究问题

• RQ1 在高维空间中对特征进行去相关，是否能有效减少虚假相关性而不损害有用信息？
• RQ2 基于互信息的特征净化如何提升模型在 OOD 数据上的泛化能力？
• RQ3 将特征去相关与净化相结合，是否能在性能上产生协同增益，优于单一组件？
• RQ4 RFF 维度和净化比例等超参数如何影响模型消除虚假相关性能力？
• RQ5 与 VAE 方法相比，基于 RFF 的去相关在保留 NLU 模型泛化能力方面是否更有效？

主要发现

• DePro 在 OOD 泛化任务上达到最先进性能，在 MNLI 和 FEVER 基准测试中均优于现有方法。
• 使用 RFF 进行特征去相关显著降低了特征间的互协方差，优于基线方法，证明了依赖关系的有效去除。
• 基于互信息的特征净化提升了模型对任务相关特征的关注度，减少了无关成分带来的噪声。
• RFF 基于的去相关在 ID 和 OOD 设置下均优于 β-VAE，证实保留未经处理的表征有助于提升泛化能力。
• 消融研究显示，去相关与净化均对最优性能至关重要，二者协同作用可取得最佳结果。
• 在中等 RFF 维度和净化比例下可获得最优性能；进一步增加则因计算开销或信息损失导致性能下降。