[论文解读] MacNet: Transferring Knowledge from Machine Comprehension to Sequence-to-Sequence Models

Boyuan Pan, Yazheng Yang+5 more|arXiv (Cornell University)|Jul 23, 2019

Topic Modeling被引用 17

一句话总结

MacNet 是一种新颖的补充编码器-解码器架构，通过将预训练机器阅读理解（MC）模型的知识迁移至序列到序列（seq2seq）模型，以提升文本理解能力。通过将 MC 特定的编码与建模组件整合进基于注意力的 seq2seq 框架，MacNet 显著提升了神经机器翻译与抽象文本摘要任务的性能，在 Gigaword 数据集上实现了 SOTA 结果，ROUGE-1 得分为 37.97，ROUGE-2 得分为 18.16，ROUGE-L 得分为 34.93。

ABSTRACT

Machine Comprehension (MC) is one of the core problems in natural language processing, requiring both understanding of the natural language and knowledge about the world. Rapid progress has been made since the release of several benchmark datasets, and recently the state-of-the-art models even surpass human performance on the well-known SQuAD evaluation. In this paper, we transfer knowledge learned from machine comprehension to the sequence-to-sequence tasks to deepen the understanding of the text. We propose MacNet: a novel encoder-decoder supplementary architecture to the widely used attention-based sequence-to-sequence models. Experiments on neural machine translation (NMT) and abstractive text summarization show that our proposed framework can significantly improve the performance of the baseline models, and our method for the abstractive text summarization achieves the state-of-the-art results on the Gigaword dataset.

研究动机与目标

• 通过将预训练的机器阅读理解（MC）模型的知识迁移至序列到序列模型，以提升其文本理解能力。
• 解决标准 seq2seq 模型在捕捉源文本深层语义与上下文关系方面的局限性。
• 设计一种模块化、补充性的架构，将 MC 组件无缝集成至现有的基于注意力的 seq2seq 框架中，而无需替换核心组件。
• 提升序列生成任务（如神经机器翻译与抽象文本摘要）的性能。
• 通过共享的高层语义表示，在不同自然语言处理任务中验证知识迁移的有效性。

提出的方法

• 在 SQuAD 等基准数据集上，使用基于 RNN 的编码与建模层预训练一个机器阅读理解模型。
• 通过将 MC 编码器的输出与原始编码器的隐藏状态拼接，将预训练的 MC 编码器集成到 seq2seq 模型的编码阶段。
• 将 seq2seq 解码器的注意力向量输入到迁移后的 MC 建模层，以优化上下文表征。
• 将 MC 建模层的输出与 seq2seq 的注意力向量结合，形成用于解码的增强预测向量。
• 应用焦点损失（focal loss）以缓解训练过程中频繁短语带来的类别不平衡问题。
• 在下游序列生成任务上对联合的 MacNet 架构进行端到端微调。

实验结果

研究问题

• RQ1 机器阅读理解模型的知识能否提升序列到序列模型在文本生成任务中的性能？
• RQ2 集成 MC 特定组件如何影响 seq2seq 模型中编码器与解码器的表征质量？
• RQ3 与基线模型相比，MacNet 在神经机器翻译与抽象文本摘要任务上的性能提升程度如何？
• RQ4 MC 知识的迁移是否能带来更准确且逻辑更连贯的文本生成？
• RQ5 MacNet 是否能在标准基准数据集（如 Gigaword 与 CNN/Daily Mail）上实现 SOTA 结果？

主要发现

• MacNet 在多个大规模数据集上显著提升了基线 seq2seq 模型在神经机器翻译任务中的性能。
• 在 Gigaword 数据集上，MacNet 在抽象文本摘要任务中实现了 SOTA 结果，ROUGE-1 得分为 37.97，ROUGE-2 得分为 18.16，ROUGE-L 得分为 34.93。
• MacNet 的编码组件对性能提升贡献最大，而建模层则在所有评估指标上均提供了稳定改进。
• 定性分析表明，与基线 Pointer-Generator 模型相比，MacNet 生成的摘要更具连贯性与事实准确性。
• 在 CNN/Daily Mail 与 Gigaword 数据集上，MacNet 在所有 ROUGE 指标上均比原始 Pointer-Generator 模型高出 0.7% 至 1.5%。
• 使用焦点损失有效降低了频繁短语的影响，提升了训练稳定性与模型性能。