[论文解读] Improving Robustness and Generality of NLP Models Using Disentangled Representations

Jiawei Wu, Xiaoya Li+4 more|arXiv (Cornell University)|Sep 21, 2020

Topic Modeling参考文献 96被引用 5

一句话总结

该论文提出了一种解耦表征学习框架，通过将输入映射到多个解耦表征并进行集成以实现最终预测，从而提升NLP模型的鲁棒性和泛化能力。在变分信息瓶颈框架中结合L2正则化或总相关性（Total Correlation），该方法在标准任务上仅造成轻微准确率下降，即可增强对抗性防御能力和跨域泛化能力。

ABSTRACT

Supervised neural networks, which first map an input $x$ to a single representation $z$, and then map $z$ to the output label $y$, have achieved remarkable success in a wide range of natural language processing (NLP) tasks. Despite their success, neural models lack for both robustness and generality: small perturbations to inputs can result in absolutely different outputs; the performance of a model trained on one domain drops drastically when tested on another domain. In this paper, we present methods to improve robustness and generality of NLP models from the standpoint of disentangled representation learning. Instead of mapping $x$ to a single representation $z$, the proposed strategy maps $x$ to a set of representations $\{z_1,z_2,...,z_K\}$ while forcing them to be disentangled. These representations are then mapped to different logits $l$s, the ensemble of which is used to make the final prediction $y$. We propose different methods to incorporate this idea into currently widely-used models, including adding an $L$2 regularizer on $z$s or adding Total Correlation (TC) under the framework of variational information bottleneck (VIB). We show that models trained with the proposed criteria provide better robustness and domain adaptation ability in a wide range of supervised learning tasks.

研究动机与目标

• 为解决监督式NLP模型因表征纠缠而导致的鲁棒性不足和域泛化能力差的问题。
• 提升模型对对抗性攻击和跨域分布偏移的鲁棒性。
• 通过结构化表征学习实现源域特定、目标域特定和通用特征的解耦。
• 开发一种简单而有效的端到端方法，在不造成显著准确率损失的前提下提升可解释性和性能。

提出的方法

• 模型将输入x映射到K个解耦表征{z₁, ..., zK}，而非单一表征z，以促进特征分离。
• 每个表征zi独立投影到logit li，最终预测y由logits的集成得到。
• 应用L2正则化以促进表征之间的多样性与解耦。
• 在变分信息瓶颈（VIB）框架下引入总相关性（TC），以最小化表征之间的互信息。
• 训练目标结合交叉熵损失与解耦正则化项（βL2或γTC），以平衡任务准确率与表征解耦程度。
• 使用一阶导数显著性分析，可视化单个词元如何影响每个解耦表征。

实验结果

研究问题

• RQ1 解耦表征能否提升NLP模型在对抗性样本上的鲁棒性？
• RQ2 解耦表征能否增强NLP任务在分布偏移下的域泛化能力？
• RQ3 通过L2或TC正则化强制实现表征解耦，是否能在下游任务上带来更好的性能？
• RQ4 不同超参数设置（β, γ）如何影响鲁棒性与准确率之间的权衡？
• RQ5 解耦表征能否以更具可解释性的方式捕捉不同的语义方面（例如情感极性）？

主要发现

• 在PWWS对抗攻击基准测试中（IMDB，CNN主干网络），VIB+TC方法取得了40.2%的准确率，优于基线模型的36.1%（γ=0.15）。
• 在β=0.15时，Regularizer方法在PWWS攻击中取得22.7%的准确率，相比基线的18.1%，表现出更强的鲁棒性。
• 在β=0.15时，Regularizer方法将IMDB数据集上的干净准确率提升至90.1%，同时显著增强了对抗防御性能。
• 在GA（w/LM）攻击中，VIB+TC方法在γ=0.15时取得38.8%的准确率，高于基线的34.7%，表明其具备强大的防御能力。
• 可视化结果显示，z₁编码了正面情感，而z₄编码了负面情感，证实了语义因子的解耦。
• β和γ的最优超参数值约为0.1–0.15，超过此范围后性能急剧下降。