[论文解读] Deep Multi-Task Learning with Shared Memory

Pengfei Liu, Xipeng Qiu+1 more|arXiv (Cornell University)|Sep 23, 2016

Topic Modeling参考文献 32被引用 34

一句话总结

本文提出了两种深度多任务学习架构，通过在相关文本分类任务之间共享外部记忆来提升性能。通过引入一个融合门，有选择性地将特定于任务的LSTM输出与共享记忆表征相结合，该模型提升了泛化能力，尤其是在低资源任务上，显著提高了情感分析和文本分类基准的准确率。

ABSTRACT

Neural network based models have achieved impressive results on various specific tasks. However, in previous works, most models are learned separately based on single-task supervised objectives, which often suffer from insufficient training data. In this paper, we propose two deep architectures which can be trained jointly on multiple related tasks. More specifically, we augment neural model with an external memory, which is shared by several tasks. Experiments on two groups of text classification tasks show that our proposed architectures can improve the performance of a task with the help of other related tasks.

研究动机与目标

• 解决神经网络模型在自然语言处理任务中训练数据不足的挑战。
• 通过联合学习多个相关文本分类任务来提升模型泛化能力。
• 通过外部共享记忆机制实现在不同任务之间的知识迁移。
• 设计一种灵活且松散耦合的多任务框架，避免混淆特定于任务的表征与共享表征。
• 通过融合门分析，提供对共享记忆如何影响特定任务预测的可解释性。

提出的方法

• 为特定于任务的LSTM增加一个外部共享记忆，以在多个任务间存储长期知识。
• 引入一种深层融合机制，其中可学习的融合门控制来自共享记忆的信息流向特定于任务的LSTM隐藏状态。
• 使用可微分的读取和写入机制，根据任务输入访问和更新共享记忆。
• 使用所有任务的联合多任务目标函数，端到端训练整个架构。
• 采用双向LSTM以改善序列建模，并实现对注意力动态的更好可视化。
• 利用学习到的融合门来调节记忆贡献，实现对共享知识的选择性与自适应使用。

实验结果

研究问题

• RQ1 当训练数据有限时，共享外部记忆是否能提升多任务文本分类的性能？
• RQ2 融合门机制如何控制将共享记忆信息整合到特定于任务的表征中？
• RQ3 来自相关任务的知识在多大程度上能迁移以提升低资源任务的性能？
• RQ4 模型能否根据输入内容和任务上下文，学会选择性地利用共享记忆？
• RQ5 共享记忆机制如何增强模型的可解释性，并提升对隐含语言模式的理解？

主要发现

• 与单任务和标准多任务基线相比，所提出的模型在情感分类和文本分类任务上均实现了显著的性能提升。
• 在SST-2数据集上，ARC-I模型优于原始LSTM和标准多任务模型，显示出在低资源样本上的更好泛化能力。
• 案例研究显示，融合门在'cookie-cutter'和'cut-and-paste'等信息丰富的词语处强烈激活，表明共享记忆被有效用于情感预测。
• 模型能够正确识别复杂句子中的隐含情感，如'If you were not nearly moved...'，而标准LSTM则无法捕捉此类情感。
• 融合门激活的可视化表明，共享记忆帮助模型学习句法模式和隐含否定，从而提升对句子结构的推理能力。
• 融合门机制提供了可解释性，展示了在预测过程中何时以及如何访问共享知识。