[论文解读] Adversarial Multi-task Learning for Text Classification

Pengfei Liu, Xipeng Qiu+1 more|arXiv (Cornell University)|Apr 19, 2017

Topic Modeling参考文献 23被引用 91

一句话总结

本论文提出一种对抗型共享-私有多任务学习框架（ASP-MTL），通过对抗训练和正交约束，将文本分类中的任务无关的共享特征与任务特定的私有特征进行解耦，并在16个数据集上显示出显著的改进，并能够迁移到新任务。

ABSTRACT

Neural network models have shown their promising opportunities for multi-task learning, which focus on learning the shared layers to extract the common and task-invariant features. However, in most existing approaches, the extracted shared features are prone to be contaminated by task-specific features or the noise brought by other tasks. In this paper, we propose an adversarial multi-task learning framework, alleviating the shared and private latent feature spaces from interfering with each other. We conduct extensive experiments on 16 different text classification tasks, which demonstrates the benefits of our approach. Besides, we show that the shared knowledge learned by our proposed model can be regarded as off-the-shelf knowledge and easily transferred to new tasks. The datasets of all 16 tasks are publicly available at \url{http://nlp.fudan.edu.cn/data/}

研究动机与目标

• 为文本分类动机多任务学习并解决共享特征被任务特定信号污染的问题。
• 提出一个健壮的框架，通过对抗训练和正交约束来强制一个不相交、更加纯净的共享特征空间。
• 在16个数据集上展示优于基线的改进，并演示将共享知识迁移到新任务的能力。

提出的方法

• 采用基于LSTM的文本编码器，具备完全共享的私有按任务架构，并使用对抗判别器来强制任务无关的共享特征。
• 将二分类对抗训练扩展到多类，使得可以跨多个任务进行联合训练并利用未标注数据。
• 引入正交性损失以最小化共享和私有表示之间的重叠：L_diff = sum_k || S^k^T H^k ||_F^2。
• 使用 L = L_Task + lambda * L_Adv + gamma * L_Diff 的综合损失进行训练，并使用梯度反转层进行对抗优化。
• 在来自产品评论和电影的16个数据集上进行评估，与单任务的LSTM和多任务基线（FS-MTL、SP-MTL、ASP-MTL）进行比较。

实验结果

研究问题

• RQ1 对抗训练是否能够通过阻止任务特定特征进入共享空间来获得更纯净的共享表示？
• RQ2 在共享和私有空间之间强制正交是否能够减少特征冗余并提升泛化？
• RQ3 学习到的共享表示是否可作为现成知识转移到未见任务？
• RQ4 在大量文本分类任务上，ASP-MTL与基线多任务方法相比有何不同？
• RQ5 是否可以将半监督学习集成到该框架中，以利用未标注数据？

主要发现

• 与单任务基线和其他多任务模型相比，ASP-MTL 在16个数据集中大多数情况下实现了最低错误率。
• 对抗训练相对于 SP-MTL 提供可观的增益，平均约提升4.1%。
• 正交性约束有助于减小共享空间与私有空间之间的重叠，提升任务特定预测和可解释性。
• 从 ASP-MTL 转移得到的共享特征提取器能够在新目标任务上提高性能，特别是使用双通道迁移。
• 该框架通过对未标注数据使用任务对抗损失，支持半监督学习，鼓励领域不变共享。