[论文解读] Adding Recurrence to Pretrained Transformers for Improved Efficiency and Context Size

Davis Yoshida, Allyson Ettinger+1 more|arXiv (Cornell University)|Aug 16, 2020

Topic Modeling参考文献 20被引用 4

一句话总结

本文提出一种方法，通过添加轻量级循环模块来增强预训练的变换器语言模型，使其能够处理更长的上下文并提高效率，同时不增加内存或计算量。通过将固定大小的表示从一个窗口传递到下一个窗口，该模型保持了长距离依赖关系，并在相同的计算和内存预算下，相较于标准微调的GPT-2，在PG-19和WikiText-103数据集上实现了更低的困惑度。

ABSTRACT

Fine-tuning a pretrained transformer for a downstream task has become a standard method in NLP in the last few years. While the results from these models are impressive, applying them can be extremely computationally expensive, as is pretraining new models with the latest architectures. We present a novel method for applying pretrained transformer language models which lowers their memory requirement both at training and inference time. An additional benefit is that our method removes the fixed context size constraint that most transformer models have, allowing for more flexible use. When applied to the GPT-2 language model, we find that our method attains better perplexity than an unmodified GPT-2 model on the PG-19 and WikiText-103 corpora, for a given amount of computation or memory.

研究动机与目标

• 在保持或提升性能的同时，降低微调预训练变换器的内存和计算成本。
• 克服标准变换器固定上下文长度的限制，使其能够处理更长的序列。
• 使现有预训练模型（例如GPT-2）能够在多种领域和语言中更高效、更灵活地使用。
• 通过可学习的循环机制，实现在非重叠文本窗口之间传递长距离上下文信息。
• 提供一种即插即用的方法，可直接应用于已训练好的模型，无需从头开始重新训练。

提出的方法

• 在预训练变换器的微调过程中引入一个循环模块，该模块从每个输入窗口的隐藏状态中计算出一个固定大小的上下文表示。
• 该表示被传递到下一窗口，并在处理下一窗口时作为记忆状态使用，从而实现在窗口之间传递信息。
• 该循环机制独立于注意力机制运行，保留了原始模型的归纳偏置，同时扩展了其有效上下文长度。
• 推理过程中使用不重叠的窗口（即非重叠窗口），但循环机制使得先前窗口的信息能够影响当前的预测结果。
• 循环模块与模型其余部分端到端联合训练，使用标准微调方法，无需对原始变换器架构进行任何修改。
• 该方法保持了与标准微调相同的内存占用，并允许在计算量和困惑度之间进行可控权衡。

实验结果

研究问题

• RQ1 轻量级循环模块是否能在不增加内存或计算量的前提下提升预训练变换器的性能？
• RQ2 在预训练变换器中，循环机制在非重叠文本窗口之间传播长距离依赖关系的效率如何？
• RQ3 该方法在多大程度上能够将标准变换器的有效上下文长度扩展至其固定输入尺寸之外？
• RQ4 该循环机制是否有助于在长文本生成任务中保持连贯性和指代解析？
• RQ5 该方法是否可应用于现有预训练模型（如GPT-2）以在不重新训练的前提下提升其在长上下文任务上的表现？

主要发现

• 所提出的方法在PG-19和WikiText-103基准测试中，使用与标准微调GPT-2相同的计算和内存资源，实现了更低的困惑度。
• 循环模块成功地在窗口之间传播了高层次的主题信息和代词指代关系，这从生成样本中代词使用的正确性得到了验证。
• 由于学习到的循环机制，该模型在窗口不重叠的情况下仍表现出对长距离依赖关系的更好处理能力。
• 定性分析表明，循环机制起到了信息瓶颈的作用，保留了诸如角色身份和叙事结构等关键信息。
• 该方法使预训练模型能够有效应用于超出其原始架构支持的更长上下文，显著提升了其灵活性和适用性。
• 该方法与现有架构改进方法正交，可与稀疏注意力或窗口注意力等方法结合，进一步提升性能。