[论文解读] Less is Better: Recovering Intended-Feature Subspace to Robustify NLU Models

Ting Wu, Tao Gui|arXiv (Cornell University)|Sep 16, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出RISK，一种无需知识的去偏框架，通过在潜在空间中移除冗余的快捷特征来恢复目标特征子空间，从而在不依赖偏见标注的情况下实现鲁棒的泛化。RISK在多个自然语言理解任务中达到最先进性能，并通过学习仅包含最富信息量、共享特征的低维、基于几何中位数的子空间，在分布外和对抗性基准上优于现有方法。

ABSTRACT

Datasets with significant proportions of bias present threats for training a trustworthy model on NLU tasks. Despite yielding great progress, current debiasing methods impose excessive reliance on the knowledge of bias attributes. Definition of the attributes, however, is elusive and varies across different datasets. Furthermore, leveraging these attributes at input level to bias mitigation may leave a gap between intrinsic properties and the underlying decision rule. To narrow down this gap and liberate the supervision on bias, we suggest extending bias mitigation into feature space. Therefore, a novel model, Recovering Intended-Feature Subspace with Knowledge-Free (RISK) is developed. Assuming that shortcut features caused by various biases are unintended for prediction, RISK views them as redundant features. When delving into a lower manifold to remove redundancies, RISK reveals that an extremely low-dimensional subspace with intended features can robustly represent the highly biased dataset. Empirical results demonstrate our model can consistently improve model generalization to out-of-distribution set, and achieves a new state-of-the-art performance.

研究动机与目标

• 解决现有去偏方法严重依赖昂贵、数据集特定的偏见标注的局限性。
• 弥合输入层面的偏见监督与模型预测内在决策规则之间的差距。
• 通过将关注点从预定义的偏见属性转向特征空间，摆脱对预设偏见属性的依赖。
• 证明在潜在空间中移除冗余的快捷特征可稳健提升模型泛化能力。
• 开发一种与数据集无关、端到端的方法，揭示低维、富有信息量的特征子空间，以实现鲁棒预测。

提出的方法

• RISK采用基于自编码器的架构，配备一个恢复层，将特征投影到低维流形上。
• 通过几何中位数子空间学习正交投影器，以端到端方式恢复目标特征子空间。
• 该方法将由偏见引发的快捷特征视为冗余，并通过子空间投影予以移除。
• 计算几何中位数子空间，以保留偏见样本与无偏见样本之间最富信息量且共享的特征。
• 该框架在训练过程中不依赖任何偏见属性监督，仅依靠特征层面的冗余减少。
• 恢复的低维子空间用于下游分类，提升对分布偏移的鲁棒性。

实验结果

研究问题

• RQ1 我们能否在不依赖显式偏见标注的情况下缓解自然语言理解模型中的数据集偏见？
• RQ2 通过识别并移除潜在空间中的冗余快捷特征，是否能够提升模型鲁棒性？
• RQ3 低维、基于几何中位数的特征子空间是否能捕捉到实现鲁棒预测所必需的本质语义？
• RQ4 一种无需知识、基于特征空间的方法是否能在分布外和对抗性测试集上实现更好的泛化？
• RQ5 与输入层面或基于监督的去偏方法相比，特征空间中冗余的移除效果如何？

主要发现

• RISK在三个自然语言理解任务中均达到最先进性能，且未使用任何偏见属性监督。
• 该模型在分布外测试集上持续提升泛化能力，表现出对分布偏移的鲁棒性。
• RISK在对抗性测试集上优于现有去偏方法，表明其对扰动具有强鲁棒性。
• 恢复的低维子空间有效捕捉了目标特征，证明了‘少即是多’在特征表示中的有效性。
• 几何中位数子空间投影成功移除了冗余的快捷特征，同时保留了预测语义。
• 该方法与数据集无关，在无需微调或偏见特定调优的情况下，可在多种自然语言理解基准上良好泛化。