[论文解读] InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective

Boxin Wang, Shuohang Wang+5 more|arXiv (Cornell University)|Oct 5, 2020

Topic Modeling参考文献 43被引用 61

一句话总结

InfoBERT 引入两个基于互信息的正则化项——Information Bottleneck 与 Anchored Feature，用于对预训练语言模型进行微调，以提高对抗文本攻击的鲁棒性，在 NLI 与 QA 的鲁棒性准确率上达到或超越现有最佳，同时不牺牲对善意文本的准确性。

ABSTRACT

Large-scale language models such as BERT have achieved state-of-the-art performance across a wide range of NLP tasks. Recent studies, however, show that such BERT-based models are vulnerable facing the threats of textual adversarial attacks. We aim to address this problem from an information-theoretic perspective, and propose InfoBERT, a novel learning framework for robust fine-tuning of pre-trained language models. InfoBERT contains two mutual-information-based regularizers for model training: (i) an Information Bottleneck regularizer, which suppresses noisy mutual information between the input and the feature representation; and (ii) a Robust Feature regularizer, which increases the mutual information between local robust features and global features. We provide a principled way to theoretically analyze and improve the robustness of representation learning for language models in both standard and adversarial training. Extensive experiments demonstrate that InfoBERT achieves state-of-the-art robust accuracy over several adversarial datasets on Natural Language Inference (NLI) and Question Answering (QA) tasks. Our code is available at https://github.com/AI-secure/InfoBERT.

研究动机与目标

• 激发对大型预训练语言模型在文本对抗攻击下的鲁棒微调。
• 提出一个信息理论框架及正则化项，用于细化局部（词级）和全局（句级）表示。
• 在理论上分析鲁棒性提升，并在跨 NLP 任务的对抗性数据集上进行经验证。

提出的方法

• 提出 Information Bottleneck (IB) 正则化项，以抑制输入与局部表示之间的噪声互信息，产生下游任务的近似最小充分统计。
• 引入一个与序列长度成比例的局部 IB 目标，以处理高维的标记级特征。
• 提出 Anchored Feature 正则化项，用于识别并将局部稳定特征与全局句子表示对齐，从而提升鲁棒性。
• 使用对抗性扰动（类一阶 PGD）来识别不鲁棒且无用的局部特征；通过 Algorithm 1 选择局部锚定特征。
• 形成一个最终目标，将 I(Y;T)、局部特征 I(X_i;T_i) 的惩罚，以及基于互信息的项通过 InfoNCE 作为一个可行的下界，将锚定特征连接到全局表示。

实验结果

研究问题

• RQ1 信息理论正则化项如何在文本对抗攻击下提升预训练语言模型的鲁棒性？
• RQ2 局部（单词级）和全局（句子级）表示是否通过协同正则化而受益，以抵御对抗性操纵？
• RQ3 对抗性训练结合 IB 基础的正则化是否能在保持良性准确性的同时进一步提升鲁棒性？

主要发现

• 与强基线相比，InfoBERT 在对抗性 NLI 和 QA 基准上的鲁棒性准确率取得显著提升。
• Information Bottleneck 正则化有助于修剪噪声信息，并在标准训练和对抗性训练下都支持鲁棒性。
• 局部锚定特征正则化选择鲁棒的局部特征，并使它们与全局表示对齐，对鲁棒性贡献显著。
• 将对抗性训练与 InfoBERT 结合，得到的鲁棒性优于任一方法单独使用，与理论鲁棒性界限一致。
• InfoBERT 在多个人 NLI 和 QA 的对抗性数据集上实现了最先进的鲁棒性准确率，同时保持良性准确性并比某些基线减少训练时间。