[论文解读] Multi-Head Multi-Layer Attention to Deep Language Representations for Grammatical Error Detection

Masahiro Kaneko, Mamoru Komachi|arXiv (Cornell University)|Apr 15, 2019

Natural Language Processing Techniques参考文献 10被引用 6

一句话总结

本文提出了一种多头多层注意力（MHMLA）机制，利用 BERT 的中间层和最终层来提升语法错误检测（GED）性能。通过在多个层上使用多头注意力学习任务特定表示，该模型在 FCE（+6.0）、CoNLL14（+8.2）和 JFLEG（+12.2）基准上实现了最先进（SOTA）的 F₀.₅ 分数，优于 BERT-base 和先前的 SOTA 方法。

ABSTRACT

It is known that a deep neural network model pre-trained with large-scale data greatly improves the accuracy of various tasks, especially when there are resource constraints. However, the information needed to solve a given task can vary, and simply using the output of the final layer is not necessarily sufficient. Moreover, to our knowledge, exploiting large language representation models to detect grammatical errors has not yet been studied. In this work, we investigate the effect of utilizing information not only from the final layer but also from intermediate layers of a pre-trained language representation model to detect grammatical errors. We propose a multi-head multi-layer attention model that determines the appropriate layers in Bidirectional Encoder Representation from Transformers (BERT). The proposed method achieved the best scores on three datasets for grammatical error detection tasks, outperforming the current state-of-the-art method by 6.0 points on FCE, 8.2 points on CoNLL14, and 12.2 points on JFLEG in terms of F_0.5. We also demonstrate that by using multi-head multi-layer attention, our model can exploit a broader range of information for each token in a sentence than a model that uses only the final layer's information.

研究动机与目标

• 探究预训练语言模型（如 BERT）的中间层是否包含除最终层之外对语法错误检测有用的有用信息。
• 通过从预训练模型的多个层中学习任务特定表示，提升 GED 性能。
• 设计一种机制，有效聚合 BERT 不同层的信息，以在 GED 中获得更好的上下文表示。
• 证明多层上的多头注意力能够实现比仅使用最终层的方法更广泛、更有效的信息利用。

提出的方法

• 所提出的 MHMLA 模型将多头注意力应用于 BERT 多个层的隐藏表示，使模型能够为每个 token 动态关注不同层。
• 该模型在 GED 数据上微调 BERT-base 的所有参数，通过端到端训练学习任务特定表示。
• 多头注意力在多个子空间中计算注意力分数，使模型能够同时关注多个层，捕捉多样的语言特征。
• 注意力机制使用可学习参数对来自不同层的表示进行加权求和，注意力头的数量决定了层利用的粒度。
• 该方法基于注意力分数对层表示进行加权求和，每个头学习聚焦于不同组合的层。
• 该模型在三个 GED 数据集（FCE、CoNLL14 和 JFLEG）上进行端到端训练，使用标准 BERT-base 架构并添加 MHMLA 层。

(a) BERT.

实验结果

研究问题

• RQ1 BERT 的中间层是否能提供除最终层之外的互补信息用于语法错误检测？
• RQ2 多头多层注意力是否能有效利用多层表示以提升 GED 性能？
• RQ3 注意力头的数量如何影响模型关注不同层的能力及其准确率？
• RQ4 与仅使用最终层或对层进行平均相比，使用 MHMLA 是否能带来显著的性能提升？
• RQ5 MHMLA 是否能学习关注与错误检测相关的句法和语义角色对应的层？

主要发现

• MHMLA 模型在所有三个 GED 基准上均实现了最先进（SOTA）的 F₀.₅ 分数：在 FCE 上比之前 SOTA 提高 6.0 分，在 CoNLL14 上提高 8.2 分，在 JFLEG 上提高 12.2 分。
• 与 BERT-base 相比，MHMLA 在 FCE、CoNLL14-{1,2} 和 JFLEG 上的 F₀.₅ 分数分别提高了 2.18、1.29、0.81 和 1.32 分。
• 12 个头的模型在 CoNLL14 和 JFLEG 上达到最高的 F₀.₅，而 FCE 最优为 3 个头，表明头数影响层关注的分布。
• 可视化显示，当使用 8 个或 12 个头时，MHMLA 在所有层上关注更均匀，证实了更广泛的信息利用。
• AvgL 基线（简单平均层表示）性能低于 MHMLA，证明学习到的注意力比固定平均更有效。
• 注意力可视化证实，MHMLA 有效学习到关注多个层，尤其在使用更多头时，实现了更均衡的层利用。

(b) MHMLA.