[论文解读] Multi-task Sequence to Sequence Learning

Minh-Thang Luong, Quoc V. Le+3 more|arXiv (Cornell University)|Nov 19, 2015

Natural Language Processing Techniques被引用 66

一句话总结

本文提出了一种多任务序列到序列学习框架，通过在多个相关任务上联合训练，提升了机器翻译、成分解析和图像字幕生成的性能。该方法在翻译任务中实现了最高1.5 BLEU点的提升，在解析任务中达到了新的 SOTA 93.0 F1 分数，其核心在于跨任务共享编码器和解码器，同时揭示了自编码器与跳跃思考向量目标在多任务设置下的不同行为。

ABSTRACT

Sequence to sequence learning has recently emerged as a new paradigm in supervised learning. To date, most of its applications focused on only one task and not much work explored this framework for multiple tasks. This paper examines three multi-task learning (MTL) settings for sequence to sequence models: (a) the oneto-many setting - where the encoder is shared between several tasks such as machine translation and syntactic parsing, (b) the many-to-one setting - useful when only the decoder can be shared, as in the case of translation and image caption generation, and (c) the many-to-many setting - where multiple encoders and decoders are shared, which is the case with unsupervised objectives and translation. Our results show that training on a small amount of parsing and image caption data can improve the translation quality between English and German by up to 1.5 BLEU points over strong single-task baselines on the WMT benchmarks. Furthermore, we have established a new state-of-the-art result in constituent parsing with 93.0 F1. Lastly, we reveal interesting properties of the two unsupervised learning objectives, autoencoder and skip-thought, in the MTL context: autoencoder helps less in terms of perplexities but more on BLEU scores compared to skip-thought.

研究动机与目标

• 探索序列到序列模型在机器翻译、成分解析和图像字幕生成等多样化自然语言处理任务中的多任务学习（MTL）方法。
• 研究小规模辅助任务（如成分解析、图像字幕生成）是否能提升大规模序列到序列任务（如机器翻译）的性能。
• 评估无监督目标（自编码器与跳跃思考向量）在增强有监督序列到序列学习方面的有效性。
• 理解自编码器与跳跃思考目标在多任务设置下的差异性行为，特别是其在内在指标（困惑度）与外在指标（BLEU）上的表现差异。
• 通过集成多任务模型实现成分解析任务的新 SOTA 结果。

提出的方法

• 提出三种 MTL 设置：一对多（跨任务共享编码器）、多对一（共享解码器）以及多对多（多个任务共享编码器与解码器）。
• 所有任务均采用带有注意力机制的序列到序列模型，底层 RNN 单元使用 LSTM。
• 通过加权组合多个目标来整合辅助任务，例如：翻译 + 成分解析，或翻译 + 自编码器/跳跃思考向量。
• 使用混合系数（如 0.05、0.1）平衡主任务（翻译）与辅助任务（成分解析、自编码、跳跃思考）的损失。
• 通过在不同混合比例下训练多个多任务模型并进行集成，以提升泛化能力与解析任务性能。
• 采用标准指标评估模型：翻译使用 BLEU，解析使用 F1，无监督目标使用困惑度。

实验结果

研究问题

• RQ1 尽管存在数据规模差异，基于句法解析与图像字幕数据的训练是否能提升神经机器翻译的性能？
• RQ2 不同的多任务学习配置（一对多、多对一、多对多）如何影响序列到序列模型的性能？
• RQ3 当与有监督任务联合训练时，自编码器与跳跃思考向量等无监督目标是否能提升翻译质量？
• RQ4 为何自编码器与跳跃思考目标在多任务学习中表现出困惑度与 BLEU 分数上的差异性行为？
• RQ5 通过小规模辅助数据集的多任务学习能否在成分解析任务中实现 SOTA 结果？

主要发现

• 在 WMT 基准测试中，仅使用少量句法解析与图像字幕数据进行训练，使英德翻译性能相比强基线模型最高提升了 1.5 BLEU 点。
• 六个多任务模型的集成在英语成分解析任务中达到了 93.0 的新 SOTA F1 分数，超越了以往的单任务系统。
• 自编码器目标在提升 BLEU 分数方面优于跳跃思考向量，但导致困惑度更差，表明内在性能与外在性能之间存在权衡。
• 跳跃思考向量在训练数据更多时能一致提升困惑度，但随着混合比例增加，BLEU 分数下降，表明其与翻译任务目标存在不兼容性。
• 在混合比例为 0.05 时，采用自编码器的多对多 MTL 设置实现了 0.5 BLEU 点的性能提升，但混合比例提高后性能下降。
• 结果表明，无监督目标应与主任务兼容：自编码器因类似于单语翻译而兼容，而跳跃思考向量则不兼容。