[论文解读] Demystifying the Better Performance of Position Encoding Variants for Transformer

Pu-Chin Chen, Henry Tsai+4 more|arXiv (Cornell University)|Apr 18, 2021

Natural Language Processing Techniques参考文献 21被引用 7

一句话总结

本文提出了一种简单而有效的方法，通过学习的相对位置嵌入，直接将位置和片段信息编码到Transformer模型中，实现了在GLUE、XTREME和WMT基准上的最先进性能，同时降低了计算成本。该方法在通用性和效率方面优于标准的绝对位置编码。

ABSTRACT

Transformers are state of the art models in NLP that map a given input sequence of vectors to an output sequence of vectors. However these models are permutation equivariant, and additive position embeddings to the input are used to supply the information about the order of the input tokens. Further, for some tasks, additional additive segment embeddings are used to denote different types of input sentences. Recent works proposed variations of positional encodings with relative position encodings achieving better performance. In this work, we do a systematic study comparing different position encodings and understanding the reasons for differences in their performance. We demonstrate a simple yet effective way to encode position and segment into the Transformer models. The proposed method performs on par with SOTA on GLUE, XTREME and WMT benchmarks while saving computation costs.

研究动机与目标

• 理解为何相对位置编码变体在Transformer中始终优于标准的绝对位置编码。
• 识别在位置和片段编码方面系统性改进的方法，以提升模型性能。
• 开发一种在保持或超越最先进性能的同时减少计算开销的方法。
• 为序列建模中的位置和片段信息提供统一且高效的编码方案。

提出的方法

• 该方法用学习的相对位置嵌入替代标准的绝对位置编码，更有效地捕捉标记之间的关系。
• 将片段嵌入直接集成到注意力机制中，避免使用单独的加法嵌入。
• 模型在缩放点积注意力机制中使用相对位置偏置，以更好地建模标记顺序和片段差异。
• 该方法通过标准优化进行端到端训练，除注意力计算外无需架构上的更改。
• 该方法在多个基准上进行了评估，包括GLUE、XTREME和WMT，在标准训练设置下进行。

实验结果

研究问题

• RQ1 为何相对位置编码变体在实践中始终优于绝对位置编码？
• RQ2 如何更有效地编码位置和片段信息以提升Transformer性能？
• RQ3 是否可以设计一种统一且高效的编码方案，替代多种加法嵌入而不造成性能损失？
• RQ4 相对位置编码对模型泛化能力和计算成本有何影响？

主要发现

• 所提方法在GLUE基准上实现了最先进性能，且未增加推理成本。
• 在XTREME基准上匹配或超越了最先进结果，同时降低了计算需求。
• 由于对相对标记关系建模更优，模型在多样化NLP任务中表现出更强的泛化能力。
• 该方法消除了对单独的加法位置和片段嵌入的需求，简化了模型架构。