[论文解读] A Context-Aware Feature Fusion Framework for Punctuation Restoration

Yangjun Wu, Kebin Fang+1 more|arXiv (Cornell University)|Mar 23, 2022

Natural Language Processing Techniques被引用 8

一句话总结

本文提出了一种上下文感知的特征融合框架（FFA），通过引入双流注意力机制，提升了自动语音识别中的标点恢复性能：一者用于头间交互以改善特征共享，另一者用于掩码自注意力以优先考虑左文依赖。在不使用外部数据或数据增强的情况下，FFA在IWSLT基准上实现了最先进性能，优于先前方法在F1分数和召回率等关键指标上的表现。

ABSTRACT

To accomplish the punctuation restoration task, most existing approaches focused on leveraging extra information (e.g., part-of-speech tags) or addressing the class imbalance problem. Recent works have widely applied the transformer-based language models and significantly improved their effectiveness. To the best of our knowledge, an inherent issue has remained neglected: the attention of individual heads in the transformer will be diluted or powerless while feeding the long non-punctuation utterances. Since those previous contexts, not the followings, are comparatively more valuable to the current position, it's hard to achieve a good balance by independent attention. In this paper, we propose a novel Feature Fusion framework based on two-type Attentions (FFA) to alleviate the shortage. It introduces a two-stream architecture. One module involves interaction between attention heads to encourage the communication, and another masked attention module captures the dependent feature representation. Then, it aggregates two feature embeddings to fuse information and enhances context-awareness. The experiments on the popular benchmark dataset IWSLT demonstrate that our approach is effective. Without additional data, it obtains comparable performance to the current state-of-the-art models.

研究动机与目标

• 解决标准Transformer自注意力在长无标点序列中因低秩瓶颈导致注意力容量下降的固有局限性。
• 通过改善头间通信与左文优先化，增强标点恢复中的上下文感知能力。
• 开发一种仅依赖训练数据的特征融合框架，避免对外部知识或数据增强的依赖。
• 证明对Transformer架构的改进可在无需额外数据或外部特征的情况下实现具有竞争力的性能。

提出的方法

• FFA采用双流架构：第一路使用交互自注意力（ISA），通过可学习的交互矩阵实现在注意力头之间的知识共享。
• 第二路使用掩码自注意力（MSA），在注意力计算过程中掩码未来标记，以强调左文表示。
• ISA与MSA的特征嵌入通过可学习的融合层进行融合，以结合头间知识与上下文感知表示。
• 框架使用预训练语言模型（如Funnel-Transformer或BART）生成初始标记嵌入，随后经过双注意力模块和用于标记级标点分类的分类头。
• 模型采用早停法、dropout（0.2）和R-Drop正则化进行训练，以提升鲁棒性与泛化能力。
• 融合层通过可学习变换将双流输出结合，生成用于分类的最终上下文表示。

实验结果

研究问题

• RQ1 Transformer中的头间注意力交互是否能提升特征表示容量，并缓解长序列中的低秩瓶颈？
• RQ2 通过掩码自注意力优先考虑左文是否能提升标点恢复性能，因为先前上下文更具信息量？
• RQ3 仅依赖训练数据的上下文感知特征融合框架能否实现最先进性能？
• RQ4 与标准多头注意力相比，所提出的双流注意力机制在标点恢复任务中的有效性如何？

主要发现

• FFA在IWSLT基准上取得了最高的F1分数，尽管未使用数据增强，其召回率仍比最先进的模型如RoBERTa-large+augmentation高出3.1个百分点。
• 模型整体F1得分为84.2%，精确率为86.1%，召回率为85.2%，各项指标表现均强劲。
• 消融实验表明，若移除交互自注意力（ISA）模块，F1分数下降3%，证实其在性能中的关键作用。
• 掩码自注意力（MSA）模块贡献显著，当其被移除时F1分数下降1.7%，凸显左文聚焦的重要性。
• 若将交互机制替换为标准多头注意力，F1分数下降0.4分，证明所提出的头间交互设计的有效性。
• 融合层与R-Drop正则化进一步提升了鲁棒性，当移除R-Drop时F1分数下降0.2分。