[论文解读] Deep Automated Multi-task Learning

Davis Liang, Yan Shu|arXiv (Cornell University)|Sep 16, 2017

Topic Modeling参考文献 6被引用 7

一句话总结

本文通过使用源自数据的内在任务（如下一个词预测、下一个字符预测和缺失词预测）作为辅助任务，提出了一种用于深度循环神经网络的自动化多任务学习（AutoMTL）方法，以提升主要自然语言处理（NLP）任务的性能。所提出的MRNN和CRNN架构联合训练主要任务与自动化任务，在情感分析、主题预测和话题标签推荐任务中实现了更快的收敛速度和更高的准确率，尤其在小规模、非正式的语料库上表现显著。

ABSTRACT

Multi-task learning (MTL) has recently contributed to learning better representations in service of various NLP tasks. MTL aims at improving the performance of a primary task, by jointly training on a secondary task. This paper introduces automated tasks, which exploit the sequential nature of the input data, as secondary tasks in an MTL model. We explore next word prediction, next character prediction, and missing word completion as potential automated tasks. Our results show that training on a primary task in parallel with a secondary automated task improves both the convergence speed and accuracy for the primary task. We suggest two methods for augmenting an existing network with automated tasks and establish better performance in topic prediction, sentiment analysis, and hashtag recommendation. Finally, we show that the MTL models can perform well on datasets that are small and colloquial by nature.

研究动机与目标

• 通过直接从输入数据中衍生出的自动化任务，实现对序列化NLP任务的多任务学习泛化。
• 通过自监督的辅助任务利用未标注的序列化数据，解决NLP中标签数据有限的挑战。
• 通过与自动化任务的联合训练，提升主要任务的收敛速度和准确率。
• 在小规模、噪声大且非正式的语料库（如Twitter）上评估自动化多任务学习的有效性。
• 证明层级化任务关系（如主题预测与语言建模）在多任务框架中可提升性能。

提出的方法

• 提出三种自动化任务：下一个词预测、下一个字符预测和缺失词补全，均源自输入序列。
• 设计两种多任务学习架构：MRNN（多任务RNN）采用共享编码器层，CRNN（级联RNN）将自动化任务的表示与主任务输入进行拼接。
• 使用word2vec嵌入表示缺失词，并通过回归预测其向量表示。
• 在所有实验中采用梯度裁剪（范数为1.0）和批量大小128以稳定训练过程。
• MRNN中为主任务和自动化任务共享LSTM编码器，而CRNN则将自动化任务的输出作为拼接输入传递给主任务分支。
• 对MTL模型自适应调整初始学习率，实现相比标准LSTM更快的收敛速度。

实验结果

研究问题

• RQ1 从输入序列中衍生出的自动化任务是否能提升主要NLP任务的性能与收敛速度？
• RQ2 在多任务学习中，不同自动化任务（下一个词、下一个字符、缺失词）的有效性如何比较？
• RQ3 主任务与自动化任务之间是否存在层级关系（如主题预测与语言建模），是否优于并行训练？
• RQ4 MTL结合自动化任务是否能在低资源、非正式语料库（如Twitter）上实现泛化？
• RQ5 自动化多任务学习在非NLP的序列化任务中可应用到何种程度？

主要发现

• MRNN在Rotten Tomato情感分析数据集上达到81.2%的准确率，优于标准LSTM（80.2%）和SOTA对抗模型（83.4%）（在外部数据上训练时）。
• CRNN在AG News主题预测任务上达到92.19%的准确率，较先前SOTA模型（92.05%）高出0.14%。
• 在Twitter话题标签推荐任务中，MRNN达到62.0%的准确率，较LSTM基线（57.8%）提升4.2%，且收敛更快。
• 两种MTL模型的收敛速度约为LSTM基线的一半，MRNN在10个epoch内即达到50%准确率。
• 在短文本数据集上，缺失词补全任务因信息损失而表现不佳，因此未纳入定量结果分析。
• CRNN在AG News任务上优于MRNN，归因于主题预测与语言建模之间更清晰的层级关系，表明任务结构在MTL设计中具有关键作用。