[论文解读] Co-Regularized Adversarial Learning for Multi-Domain Text Classification

Wu Yuan, Diana Inkpen+1 more|arXiv (Cornell University)|Jan 30, 2022

Text and Document Classification Technologies被引用 5

一句话总结

该论文提出了一种协同正则化对抗学习（Co-Regularized Adversarial Learning, CRAL）方法，用于多领域文本分类。该方法通过使用两个不同的共享潜在空间，结合协同正则化域对齐与基于熵最小化的虚拟对抗训练，提升了特征的可分性和泛化能力。CRAL在两个基准数据集上均优于当前最先进方法，并展现出对未见领域的强大零样本泛化能力。

ABSTRACT

Multi-domain text classification (MDTC) aims to leverage all available resources from multiple domains to learn a predictive model that can generalize well on these domains. Recently, many MDTC methods adopt adversarial learning, shared-private paradigm, and entropy minimization to yield state-of-the-art results. However, these approaches face three issues: (1) Minimizing domain divergence can not fully guarantee the success of domain alignment; (2) Aligning marginal feature distributions can not fully guarantee the discriminability of the learned features; (3) Standard entropy minimization may make the predictions on unlabeled data over-confident, deteriorating the discriminability of the learned features. In order to address the above issues, we propose a co-regularized adversarial learning (CRAL) mechanism for MDTC. This approach constructs two diverse shared latent spaces, performs domain alignment in each of them, and punishes the disagreements of these two alignments with respect to the predictions on unlabeled data. Moreover, virtual adversarial training (VAT) with entropy minimization is incorporated to impose consistency regularization to the CRAL method. Experiments show that our model outperforms state-of-the-art methods on two MDTC benchmarks.

研究动机与目标

• 解决现有多领域文本分类（MDTC）方法依赖对抗学习、共享-私有特征提取与熵最小化所带来的局限性。
• 克服三大关键问题：从差异最小化中获得的域对齐不足、类条件分布不匹配损害可分性，以及标准熵最小化导致的预测过自信。
• 通过在多源无监督域自适应（MS-UDA）设置下实现知识迁移，提升模型在未见领域的泛化能力。
• 构建一个稳健且一致的学习框架，通过协同正则化与一致性正则化减少冗余假设类别。

提出的方法

• 通过两个不同的共享特征提取器构建两个多样化的共享潜在空间，以增强表示多样性。
• 在每个共享空间中通过最小化类条件特征分布的域差异，执行对抗性域对齐。
• 通过惩罚两个分支在无标签数据上预测不一致的损失，实施协同正则化，以减少冗余对齐。
• 将虚拟对抗训练（VAT）与熵最小化结合，对有标签和无标签数据施加一致性正则化。
• 使用包含域对齐损失、不一致惩罚损失与基于VAT的一致性正则化损失的多组件损失函数。
• 通过结合有标签数据的监督损失与无标签数据的自监督损失，端到端训练模型。

实验结果

研究问题

• RQ1 协同正则化对抗学习是否能在多领域文本分类中提升域对齐能力，同时保持特征可分性？
• RQ2 在无标签数据预测上强制两个多样化对抗分支达成一致，是否能减少冗余假设类别并提升模型鲁棒性？
• RQ3 将VAT与熵最小化结合，是否能缓解预测过自信问题并增强模型泛化能力？
• RQ4 所提方法在多源无监督域自适应（MS-UDA）设置下，对未见领域的零样本迁移效果如何？

主要发现

• CRAL在Amazon评论和FDU-MTL两个基准数据集上均优于当前最先进MDTC方法，实现了更高的平均准确率。
• 在Amazon评论数据集上，CRAL在MS-UDA设置下实现了92.3%的平均准确率，较CAN方法高出2.22%。
• 消融实验表明，不一致惩罚损失（$\mathcal{L}_d$）贡献最大，使性能提升了2.13%。
• 超参数敏感性分析显示，$\lambda_{uvt}$与$\lambda_{lvt}$存在最优值，性能在超过特定阈值后开始下降。
• 模型对$\lambda_d$与$\lambda_\vartriangle$的超参数变化保持鲁棒，表明在广泛参数设置下性能稳定。
• 完整CRAL模型表现最佳，证实了所有组件——协同正则化、VAT与熵最小化——的互补性贡献。