[论文解读] Context-based Virtual Adversarial Training for Text Classification with Noisy Labels

Do-Myoung Lee, Yeachan Kim+1 more|arXiv (Cornell University)|May 29, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出基于上下文的虚拟对抗训练（ConVAT），一种与网络结构无关的方法，该方法在上下文特征表示上而非词级别输入上进行对抗训练，以提升文本分类中对噪声标签的鲁棒性。与标准VAT相比，ConVAT在显著降低时间和内存开销的同时，实现了最先进性能，有效防止了对噪声标签的记忆，同时在四个基准数据集上保持了强大的泛化能力，尤其在高噪声率下表现优异。

ABSTRACT

Deep neural networks (DNNs) have a high capacity to completely memorize noisy labels given sufficient training time, and its memorization, unfortunately, leads to performance degradation. Recently, virtual adversarial training (VAT) attracts attention as it could further improve the generalization of DNNs in semi-supervised learning. The driving force behind VAT is to prevent the models from overfitting data points by enforcing consistency between the inputs and the perturbed inputs. This strategy could be helpful in learning from noisy labels if it prevents neural models from learning noisy samples while encouraging the models to generalize clean samples. In this paper, we propose context-based virtual adversarial training (ConVAT) to prevent a text classifier from overfitting to noisy labels. Unlike the previous works, the proposed method performs the adversarial training at the context level rather than the inputs. It makes the classifier not only learn its label but also its contextual neighbors, which alleviates the learning from noisy labels by preserving contextual semantics on each data point. We conduct extensive experiments on four text classification datasets with two types of label noises. Comprehensive experimental results clearly show that the proposed method works quite well even with extremely noisy settings.

研究动机与目标

• 解决深度神经网络在文本分类中对噪声标签过拟合的问题。
• 通过强制清洁样本与其上下文邻居之间的一致性来提升模型泛化能力。
• 与标准虚拟对抗训练（VAT）相比，降低计算和内存开销。
• 开发一种无需额外训练参数的与网络结构无关的方法。
• 在多个文本分类数据集上，于极端标签噪声设置下验证方法的有效性。

提出的方法

• ConVAT在上下文级别的特征空间中进行对抗训练，而非在词级别输入上，聚焦于上下文表示。
• 通过构建一个最小-最大优化问题，寻找使给定样本分类损失最大化的最坏情况扰动。
• 通过最小化原始上下文向量与扰动后向量之间的分布距离，来增强鲁棒性和平滑性。
• 仅使用Softmax层的梯度计算扰动，相比VAT中的全网络反向传播，显著降低了内存和计算开销。
• 该方法在训练过程中应用，无需修改网络架构或增加额外参数。
• 通过对抗扰动隐式实现标签平滑，降低模型置信度，减少对噪声标签的记忆。

实验结果

研究问题

• RQ1 在上下文级别进行对抗训练能否提升文本分类对标签噪声的鲁棒性？
• RQ2 与词级别VAT相比，上下文级别对抗训练是否能更有效地减少对噪声标签的过拟合？
• RQ3 ConVAT能否在比标准VAT更低的时间和内存复杂度下实现更优性能？
• RQ4 在不同噪声率下，扰动幅度（epsilon）的选择如何影响模型性能？
• RQ5 ConVAT在具有不同噪声模式的多样化文本分类数据集中是否均有效？

主要发现

• 在均匀噪声和类别条件噪声设置下，ConVAT在四个文本分类数据集上均优于最先进方法。
• 使用ConVAT训练的模型表现出稳定且逐步提升的验证准确率，表明即使在50%的噪声率下也未对噪声标签产生过拟合。
• 与标准VAT相比，ConVAT将训练时间最多减少5倍，并显著降低内存使用量，尤其在深层网络中优势明显。
• t-SNE可视化结果表明，ConVAT的上下文向量在整个训练过程中保持良好聚类且具有类别判别性，而CNN则会丢失聚类结构。
• 最优的epsilon值随噪声率增加而增大，网格搜索结果证实，更高的噪声率需要更大的扰动幅度才能获得最佳性能。
• 即使在极高噪声水平下，该方法仍保持强大的泛化能力，通过持续的性能提升展现出卓越的鲁棒性。