[论文解读] Learning Multiscale Transformer Models for Sequence Generation

Bei Li, Tong Zheng+4 more|arXiv (Cornell University)|Jun 19, 2022

Topic Modeling被引用 4

一句话总结

该论文提出 Umst，一种通用多尺度变换器，通过显式建模子词、词和短语层级的尺度，并利用词边界和短语级先验知识，提升序列生成性能。通过整合跨尺度关系——个体间、组内及组间关系，Umst 在不损失效率的前提下，相较于标准和多尺度变换器，实现了稳定提升，平均 BLEU 提升 0.88 点，ROUGE 提升 1 点。

ABSTRACT

Multiscale feature hierarchies have been witnessed the success in the computer vision area. This further motivates researchers to design multiscale Transformer for natural language processing, mostly based on the self-attention mechanism. For example, restricting the receptive field across heads or extracting local fine-grained features via convolutions. However, most of existing works directly modeled local features but ignored the word-boundary information. This results in redundant and ambiguous attention distributions, which lacks of interpretability. In this work, we define those scales in different linguistic units, including sub-words, words and phrases. We built a multiscale Transformer model by establishing relationships among scales based on word-boundary information and phrase-level prior knowledge. The proposed extbf{U}niversal extbf{M}ulti extbf{S}cale extbf{T}ransformer, namely extsc{Umst}, was evaluated on two sequence generation tasks. Notably, it yielded consistent performance gains over the strong baseline on several test sets without sacrificing the efficiency.

研究动机与目标

• 为解决现有 NLP 多尺度变换器在建模局部特征时忽略词边界和短语级结构的局限性。
• 通过引入语言尺度层次结构，提升自注意力分布的可解释性并减少歧义。
• 设计一种灵活、通用的框架，将词边界和短语结构等先验知识整合到变换器架构中。
• 在不牺牲计算效率的前提下，实现在序列生成任务中的持续性能提升。

提出的方法

• 该论文将 NLP 中的尺度重新定义为子词、词和短语层级，利用词边界和短语级先验知识构建多尺度表征。
• 提出一种三重关系建模机制：个体间（同尺度内）、组内（同词/短语内）和组间（跨尺度）关系，以捕捉层次化依赖。
• 将这些尺度感知的关系整合到自注意力机制中，使注意力能更自然地聚焦于有意义的语言单元。
• 采用改进的变换器模块，其中多头注意力通过尊重词和短语边界的尺度感知注意力计算进行增强。
• 通过避免引入额外参数或复杂操作，保持计算效率，使其与现有技术（如相对位置嵌入）正交。
• 该框架设计具有可扩展性，可集成除词边界和短语结构外的其他语言先验知识。

实验结果

研究问题

• RQ1 显式建模子词、词和短语层级尺度是否能提升序列生成模型的性能？
• RQ2 引入词边界和短语级知识如何影响注意力分布的可解释性和质量？
• RQ3 尊重语言结构的多尺度变换器是否在序列生成任务中优于标准和现有多尺度变换器？
• RQ4 所提方法是否能在不增加计算成本或模型复杂度的前提下实现性能提升？
• RQ5 Umst 在多大程度上可扩展以整合除词边界和短语结构外的其他语言先验知识？

主要发现

• 在机器翻译任务中，Umst 在基础模型配置下相较标准变换器实现了 +0.88 BLEU 点的性能提升。
• 在大模型配置下，Umst 相较基线模型提升了 +0.44 BLEU 点，表明在不同模型规模下均保持一致的性能增益。
• 在抽象摘要生成任务中，Umst 平均相较变换器基线提升了 +1.0 ROUGE 点。
• Umst 的注意力图呈现出更清晰、更具可解释性的模式，与词边界对齐，而标准模型的注意力分布则显得模糊且冗余。
• 当与相对位置嵌入结合时，Umst 额外获得了 +0.4 BLEU 点的增益，表明其与现有改进方法具有正交性和兼容性。
• 模型的性能增益在多个测试集上保持一致，证实其在序列生成任务中的鲁棒性与泛化能力。