[论文解读] Hybrid Neural Models For Sequence Modelling: The Best Of Three Worlds

Marco Dinarelli, Loïc Grobol|arXiv (Cornell University)|Sep 16, 2019

Natural Language Processing Techniques参考文献 39被引用 4

一句话总结

本文提出了一种混合神经架构，结合双向GRU、序列到序列建模和Transformer自注意力机制，用于序列标注任务。该模型在三个基准数据集——MEDIA（法语SLU）、WSJ（英语词性标注）和TIGER（德语词形句法标注）上取得了最先进或具有竞争力的结果，证明了将这些架构结合用于序列建模的有效性。

ABSTRACT

We propose a neural architecture with the main characteristics of the most successful neural models of the last years: bidirectional RNNs, encoder-decoder, and the Transformer model. Evaluation on three sequence labelling tasks yields results that are close to the state-of-the-art for all tasks and better than it for some of them, showing the pertinence of this hybrid architecture for this kind of tasks.

研究动机与目标

• 设计一种统一的神经架构，整合双向RNN、序列到序列模型和Transformer的优势，用于序列标注。
• 在词性标注之外的多样化序列标注任务上评估该混合模型，包括SLU和词形句法标注。
• 确定结合这些架构是否能提升现有模型的性能，特别是在低资源或较少研究的设置下。
• 通过将其应用于机器翻译和句法解析等任务（尽管本文未在此处进行评估），评估其泛化潜力。
• 探究在序列标注中，输入输出的一一对应关系是否能通过混合模型更好地保留，相比纯Transformer模型。

提出的方法

• 编码器使用双向GRU处理输入标记，将词嵌入与通过独立双向GRU在字符级别计算的表示相结合。
• 通过将字符级别GRU的最终隐藏状态相加，并送入前馈网络，获得字符级别表示。
• 解码器采用受先前工作启发的双向上下文机制，使预测能够依赖于过去和未来的标签，从而增强上下文感知能力。
• 在解码器中集成来自Transformer架构的自注意力机制，以捕捉输出序列中的长距离依赖关系。
• 使用交叉熵损失端到端训练该架构，部分实验中未使用预训练嵌入，并与强基线模型（如LSTM+CRF和Transformer模型）进行比较。
• 在三个序列标注任务上评估该模型：法语SLU（MEDIA）、英语词性标注（WSJ）和德语词形句法标注（TIGER），并对解码器变体进行消融研究。

实验结果

研究问题

• RQ1 结合双向RNN、序列到序列建模和Transformer注意力的混合神经架构，是否能在序列标注任务上实现最先进性能？
• RQ2 在具有双向上下文的序列到序列框架中集成自注意力机制，是否能提升序列标注性能，相比标准的RNN基模型？
• RQ3 该模型在较少被评估的序列标注数据集（如TIGER）上的表现如何，特别是与非神经或旧式神经模型相比？
• RQ4 缺乏预训练词嵌入在多大程度上影响模型性能，其是否仍能超越使用此类嵌入的模型？
• RQ5 纯Transformer模型为何在序列标注任务上表现欠佳，混合架构是否能通过保持输入输出对齐来缓解此问题？

主要发现

• 所提出的混合模型在TIGER词形句法标注任务上取得了91.86的测试F1分数，优于此前最先进模型（VO-CRF）的88.78。
• 在法语SLU的MEDIA语料上，模型取得了93.90的准确率（开发集F1为98.30），在语音语言理解任务中表现强劲。
• 在WSJ语料的词性标注任务上，模型在测试集上达到91.86的F1分数，超越LSTM+CRF基线，并在未使用GloVe预训练嵌入的情况下接近最先进结果。
• 即使在Guo等人（2019）报告的模型使用了预训练嵌入的情况下，该模型仍优于Transformer和Star-Transformer模型，表明架构混合的优势。
• 该模型的训练和开发损失曲线优于其前身（Seq2Biseq），表明优化动态更优，尽管最终性能相似。
• 该模型在其他任务上泛化良好：可适配于机器翻译和句法解析，表明其在序列标注之外也具有广泛适用性。