[论文解读] Conditional Adversarial Networks for Multi-Domain Text Classification

Yuan Wu, Diana Inkpen+1 more|arXiv (Cornell University)|Feb 19, 2021

Topic Modeling参考文献 32被引用 7

一句话总结

本文提出条件对抗网络（CANs）用于多领域文本分类，通过条件域判别器和熵条件化联合建模共享特征与标签预测中的领域差异，提升特征判别能力。CANs在两个基准数据集上达到最先进性能，并能有效泛化到未见领域。

ABSTRACT

In this paper, we propose conditional adversarial networks (CANs), a framework that explores the relationship between the shared features and the label predictions to impose more discriminability to the shared features, for multi-domain text classification (MDTC). The proposed CAN introduces a conditional domain discriminator to model the domain variance in both shared feature representations and class-aware information simultaneously and adopts entropy conditioning to guarantee the transferability of the shared features. We provide theoretical analysis for the CAN framework, showing that CAN's objective is equivalent to minimizing the total divergence among multiple joint distributions of shared features and label predictions. Therefore, CAN is a theoretically sound adversarial network that discriminates over multiple distributions. Evaluation results on two MDTC benchmarks show that CAN outperforms prior methods. Further experiments demonstrate that CAN has a good ability to generalize learned knowledge to unseen domains.

研究动机与目标

• 解决现有对抗方法在多领域文本分类（MDTC）中的局限性，即仅对齐边缘领域分布时无法保证判别性。
• 通过建模共享特征与标签预测之间的关系，提升特征质量，增强判别能力。
• 通过熵条件化优先关注高置信度、易迁移的样本，确保共享特征的可迁移性。
• 在无监督多源领域自适应设置下，实现对未见领域的有效泛化。
• 理论验证CAN最小化了共享特征与标签预测联合分布之间的总差异。

提出的方法

• 引入基于标签预测条件化的条件域判别器，以建模共享特征与类别感知信息中的领域差异。
• 在对抗训练中应用熵条件化，降低低置信度预测的权重，提升特征可迁移性。
• 采用共享-私有范式，将特征划分为领域不变的共享部分与领域特定的私有部分。
• 通过对抗方式联合训练共享特征提取器与条件域判别器，以最小化共享特征与标签联合分布之间的差异。
• 理论分析表明，CAN目标等价于最小化多个共享特征与标签预测联合分布之间的总差异。
• 在无监督适应中，模型仅使用共享特征进行未标注目标领域的分类，将领域特定特征设为零。

实验结果

研究问题

• RQ1 联合对齐共享特征与标签预测是否能提升多领域文本分类中的判别性？
• RQ2 将域判别器基于标签预测进行条件化，是否能带来比标准域对抗训练更优的特征表示？
• RQ3 熵条件化是否能通过聚焦于高置信度预测来增强共享特征的可迁移性？
• RQ4 在目标领域无标注数据的情况下，CAN在多大程度上能泛化到未见领域？
• RQ5 CAN框架在理论上是否成立，能够最小化特征与标签多个联合分布之间的差异？

主要发现

• 在Amazon评论数据集上，CAN在平均准确率与各领域准确率上均优于先前方法，达到最先进性能。
• 在FDU-MTL数据集上，CAN实现了最佳平均准确率，并在16个独立领域中的10个排名第一。
• 消融实验表明，条件域判别器与熵条件化均不可或缺，任一移除均导致性能显著下降。
• 在无监督多源领域自适应中，CAN在四个目标领域中的三个上优于所有基线方法（包括DANN、mSDA与MDAN）。
• 在无监督适应中，CAN实现了最高平均准确率，展现出对未见领域的强大泛化能力。
• 理论分析证实，CAN最小化了共享特征与标签预测联合分布之间的总差异，验证了其对抗对齐机制的理论合理性。