[论文解读] Understanding and Improving Encoder Layer Fusion in Sequence-to-Sequence Learning

Xuebo Liu, Longyue Wang+4 more|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling参考文献 62被引用 11

一句话总结

本文提出 SurfaceFusion，一种新颖方法，直接将编码器嵌入层连接至序列到序列模型解码器的 Softmax 层，通过增强双语词嵌入学习显著提升性能。实验表明，SurfaceFusion 在机器翻译、文本摘要和语法错误纠正任务中均优于传统编码器层融合方法，在 WMT16 罗马尼亚语-英语和 WMT14 英语-法语任务上达到当前最优结果。

ABSTRACT

Encoder layer fusion (EncoderFusion) is a technique to fuse all the encoder layers (instead of the uppermost layer) for sequence-to-sequence (Seq2Seq) models, which has proven effective on various NLP tasks. However, it is still not entirely clear why and when EncoderFusion should work. In this paper, our main contribution is to take a step further in understanding EncoderFusion. Many of previous studies believe that the success of EncoderFusion comes from exploiting surface and syntactic information embedded in lower encoder layers. Unlike them, we find that the encoder embedding layer is more important than other intermediate encoder layers. In addition, the uppermost decoder layer consistently pays more attention to the encoder embedding layer across NLP tasks. Based on this observation, we propose a simple fusion method, SurfaceFusion, by fusing only the encoder embedding layer for the softmax layer. Experimental results show that SurfaceFusion outperforms EncoderFusion on several NLP benchmarks, including machine translation, text summarization, and grammatical error correction. It obtains the state-of-the-art performance on WMT16 Romanian-English and WMT14 English-French translation tasks. Extensive analyses reveal that SurfaceFusion learns more expressive bilingual word embeddings by building a closer relationship between relevant source and target embedding. Source code is freely available at https://github.com/SunbowLiu/SurfaceFusion.

研究动机与目标

• 解决关于为何编码器层融合（EncoderFusion）能提升序列到序列模型的矛盾研究发现。
• 探究各编码器层，尤其是编码器嵌入层，在提升模型性能中的作用。
• 解决源表示瓶颈问题，即标准模型难以有效捕捉语义与表层特征。
• 通过聚焦最具信息量的编码器层，提出一种更简单、更有效的现有 EncoderFusion 方法替代方案。
• 证明直接融合编码器嵌入层可增强序列到序列模型中表达性双语词嵌入的学习。

提出的方法

• 引入细粒度层注意力机制，以定量评估各编码器层对解码器注意力的贡献。
• 提出 SurfaceFusion 方法，仅将编码器嵌入层与解码器的 Softmax 层进行融合，跳过中间层。
• 缩短源表示与目标表示之间的路径，强化直接交互，改善双语词表示的对齐。
• 使用可学习的表面注意力模块在解码过程中关注编码器嵌入层，实现与主模型的端到端联合训练。
• 通过消融研究与奇异值分解（SVD）分析，比较原始模型与 SurfaceFusion 模型在表征能力与嵌入质量上的差异。
• 在多种自然语言处理任务上评估该方法，包括机器翻译、文本摘要与语法错误纠正，使用标准基准数据集。

实验结果

研究问题

• RQ1 为何编码器层融合能提升序列到序列模型？哪一编码器层对性能提升贡献最大？
• RQ2 编码器嵌入层在注意力机制与表征能力方面，相较于其他中间层表现如何？
• RQ3 仅融合编码器嵌入层是否比融合多个中间层能获得更优性能？
• RQ4 直接融合编码器嵌入层能否提升序列到序列模型中双语词嵌入的质量？
• RQ5 源表示瓶颈对模型性能有何影响？如何缓解该问题？

主要发现

• 编码器嵌入层在成功实现编码器层融合中比其他中间编码器层更为关键，这与先前认为底层更具信息量的假设相矛盾。
• 在多个自然语言处理任务中，最上层解码器始终更关注编码器嵌入层，表明其在表征学习中具有核心作用。
• 屏蔽编码器嵌入层会导致性能显著下降，引发幻觉性（流畅但不忠实）预测，进一步证实其重要性。
• SurfaceFusion 在所有评估任务中均优于原始 Seq2Seq 模型与标准 EncoderFusion 方法，包括 WMT16 罗马尼亚语-英语与 WMT14 英语-法语翻译基准。
• 奇异值分析显示，SurfaceFusion 减缓了词嵌入中奇异值的衰减，使表征分布更均匀、更具表现力。
• 通过缩短源表示与目标表示之间的路径，SurfaceFusion 改善了双语词嵌入的对齐，提升了跨语言迁移能力与模型忠实度。