[论文解读] Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder

Zihao Fu, Wai Lam+5 more|arXiv (Cornell University)|Apr 8, 2023

Topic Modeling被引用 16

一句话总结

论文通过正则化的编码器-解码器(RED)框架分析仅解码器语言模型在序列到序列任务中的表现，识别注意力退化，并提出部分注意力语言模型(PALM)以在翻译、摘要和数据到文本任务中提升性能。

ABSTRACT

The sequence-to-sequence (seq2seq) task aims at generating the target sequence based on the given input source sequence. Traditionally, most of the seq2seq task is resolved by the Encoder-Decoder framework which requires an encoder to encode the source sequence and a decoder to generate the target text. Recently, a bunch of new approaches have emerged that apply decoder-only language models directly to the seq2seq task. Despite the significant advancements in applying language models to the seq2seq task, there is still a lack of thorough analysis on the effectiveness of the decoder-only language model architecture. This paper aims to address this gap by conducting a detailed comparison between the encoder-decoder architecture and the decoder-only language model framework through the analysis of a regularized encoder-decoder structure. This structure is designed to replicate all behaviors in the classical decoder-only language model but has an encoder and a decoder making it easier to be compared with the classical encoder-decoder structure. Based on the analysis, we unveil the attention degeneration problem in the language model, namely, as the generation step number grows, less and less attention is focused on the source sequence. To give a quantitative understanding of this problem, we conduct a theoretical sensitivity analysis of the attention output with respect to the source input. Grounded on our analysis, we propose a novel partial attention language model to solve the attention degeneration problem. Experimental results on machine translation, summarization, and data-to-text generation tasks support our analysis and demonstrate the effectiveness of our proposed model.

研究动机与目标

• 在序列到序列任务上，推动对编码器-解码器架构与仅解码器语言模型之间的全面比较。
• 描述在解码器-仅LM架构中的注意力退化问题及其对源注意力的影响。
• 开发一个正则化的编码器-解码器(RED)框架，以促进公平比较并分析其组成部分。
• 提出部分注意力语言模型(PALM)，在缓解退化的同时保留LM的优势。
• 在机器翻译、摘要和数据到文本生成数据集上对PALM进行实证验证。

提出的方法

• 定义一个正则化的编码器-解码器(RED)框架，使编码器与解码器共同模仿LM的行为，以便与ED进行公平比较。
• 引入单向跨注意力、源自编码器( SAE )、参数共享、层级协同、以及连续位置编码，以在RED中模拟LM行为。
• 对注意力敏感性（雅可比矩阵界限）进行理论分析，以解释单向跨注意力中的注意力退化。
• 提出部分注意力语言模型(PALM)，增加一个关注源的PA注意力分支、使用双向源注意力、分离的位置编码以及语言嵌入。
• 给出PALM的变体及消融实验（如PALM无SAE）以隔离各组件的影响。
• 在MT、摘要和数据到文本任务上使用标准指标（BLEU、ROUGE、METEOR、CIDEr、NIST）进行评估。

Figure 1: Encoder-Decoder (ED) framework and decoder-only Language Model (LM).

实验结果

研究问题

• RQ1 解码器-仅LM的架构是否本质上在序列到序列任务上表现落后于ED，还是正则化的LM-like结构可以缩小差距？
• RQ2 在基于LM的序列到序列模型中，是什么原因导致注意力退化，以及它如何影响生成步骤中的源注意力敏感性？
• RQ3 PALM架构是否在保持LM优势的同时缓解注意力退化？
• RQ4 相对于ED和LM基线，RED/PALM变体在MT、摘要和数据到文本基准上有何表现？

主要发现

• 由于注意力退化，LM在若干序列到序列任务上劣于ED（生成步骤增多时对源的注意力下降）。
• 一个理论上限表明单向跨注意力对源输入的敏感度随目标长度增加而变小，从而解释退化。
• 通过增加一个在生成长度下保持固定的PA注意力路径、以及使用双向源注意力和分离的位置编码，PALM缓解退化。
• PALM持续优于LM及其变体，并在所报道的基准上接近或超越ED性能。
• 在表1中，PALM的平均BLEU（31.91）高于LM-PA基线（31.57）和ED（31.86），且在WebNLG、E2E和XSUM数据集上也提升了METEOR、ROUGE-L、CIDEr和NIST等指标（表4-6）。
• 消融结果表明SAE对性能有贡献，而PALM无SAE时结果趋向LM水平的退化。
• 该方法相比ED和LM基线在参数数量上更少，同时仍提供优越或具竞争力的性能。

Figure 2: Encoder-Decoder framework (left) and Regularized Encoder-Decoder framework (right).