[论文解读] A Generalized Recurrent Neural Architecture for Text Classification with Multi-Task Learning

Honglun Zhang, Liqiang Xiao+2 more|arXiv (Cornell University)|Jul 10, 2017

Topic Modeling参考文献 11被引用 6

一句话总结

本文提出了一种用于文本分类的广义循环神经网络架构，通过四种类型的循环层——耦合、局部融合、全局融合和记忆存储——实现多个相关任务之间的多任务学习，支持三个或更多任务之间的直接与间接交互。该模型通过并行联合训练样本，在五个基准数据集上实现了显著的性能提升，多数情况下优于最先进方法。

ABSTRACT

Multi-task learning leverages potential correlations among related tasks to extract common features and yield performance gains. However, most previous works only consider simple or weak interactions, thereby failing to model complex correlations among three or more tasks. In this paper, we propose a multi-task learning architecture with four types of recurrent neural layers to fuse information across multiple related tasks. The architecture is structurally flexible and considers various interactions among tasks, which can be regarded as a generalized case of many previous works. Extensive experiments on five benchmark datasets for text classification show that our model can significantly improve performances of related tasks with additional information from others.

研究动机与目标

• 解决现有多任务学习模型仅支持成对或弱交互关系的任务之间的局限性。
• 开发一种结构灵活的架构，能够建模三个或更多相关文本分类任务之间的复杂多向交互。
• 通过并行训练多个数据集，利用共享表征和跨任务信息，提升文本分类性能。
• 在一个统一框架内探索三种不同的多任务学习场景——多基数、多领域和多任务。
• 证明共享循环结构的联合学习可带来更好的泛化能力，并在性能上优于单任务学习。

提出的方法

• 该模型采用四种专用的循环神经网络层：耦合层、局部融合层、全局融合层和记忆存储层，以实现任务间多样的交互模式。
• 耦合层允许任意两个任务之间直接交换信息，选择性地吸收有用特征。
• 局部融合层每次将两个任务的表征进行组合，实现任务特定的特征整合。
• 全局融合层通过共享的中间表征聚合所有任务的信息，捕捉高层次的相关性。
• 全局记忆存储组件维护并更新所有任务之间的公共特征，增强知识迁移能力。
• 该架构支持Type-III多任务学习，即多个输入（来自不同任务）并行训练，实现同步优化。

实验结果

研究问题

• RQ1 具有循环层的广义多任务学习架构能否有效建模三个或更多文本分类任务之间的复杂交互？
• RQ2 与单任务学习相比，跨多个相关任务的联合训练在性能上如何提升？
• RQ3 不同的交互机制——直接耦合、局部融合、全局融合和记忆存储——对分类准确率有何影响？
• RQ4 不同多任务学习场景（多基数、多领域、多任务）如何影响模型性能与特征共享？
• RQ5 该模型在具有不同语言特征和序列长度的数据集之间，其泛化能力如何？

主要发现

• 所提出的模型在五个基准文本分类数据集上达到最先进或具有竞争力的性能：SST-1（49.2%）、SST-2（87.7%）、IMDB（91.6%）、Books（83.5%）、DVDs（84.0%）、Electronics（86.2%）、Kitchen（84.8%）和QC（92.3%）。
• 成对性能增益（PPG）在多领域数据集之间最高，因其共享语言特征和相似的序列长度，表明任务间存在较强相关性。
• QC数据集的PPG最低，因其句子更短且语言模式不同，证实其与其他任务的相关性较弱。
• 该模型在SST-1和SST-2上优于MT-RNN，分别提升了2.6%和1.8%，表明其在特征学习和交互建模方面更具优势。
• 全局记忆存储和多层级融合机制显著提升性能，通过有效实现跨任务知识迁移和表征优化。
• 该模型的广义架构在支持复杂多向交互方面优于先前工作，可涵盖并改进以往仅支持成对或顺序交互的模型。