[论文解读] Deep Semantic Role Labeling with Self-Attention

Zhixing Tan, Mingxuan Wang+3 more|arXiv (Cornell University)|Dec 5, 2017

Topic Modeling被引用 15

一句话总结

本文提出 DeepAtt，一种基于自注意力机制的神经网络，用于端到端语义角色标注，能够比 RNN 更有效地捕捉长距离依赖关系和结构关系。该模型在 CoNLL-2005 上取得 83.4 的 F1 分数，在 CoNLL-2012 上取得 82.7 的 F1 分数，分别优于先前方法 1.8 和 1.0 分，同时在单张 GPU 上实现每秒处理 50,000 个词元的高速推理。

ABSTRACT

Semantic Role Labeling (SRL) is believed to be a crucial step towards natural language understanding and has been widely studied. Recent years, end-to-end SRL with recurrent neural networks (RNN) has gained increasing attention. However, it remains a major challenge for RNNs to handle structural information and long range dependencies. In this paper, we present a simple and effective architecture for SRL which aims to address these problems. Our model is based on self-attention which can directly capture the relationships between two tokens regardless of their distance. Our single model achieves F$_1=83.4$ on the CoNLL-2005 shared task dataset and F$_1=82.7$ on the CoNLL-2012 shared task dataset, which outperforms the previous state-of-the-art results by $1.8$ and $1.0$ F$_1$ score respectively. Besides, our model is computationally efficient, and the parsing speed is 50K tokens per second on a single Titan X GPU.

研究动机与目标

• 为解决基于 RNN 的模型在语义角色标注中处理长距离依赖关系和结构信息方面的局限性。
• 开发一种更简单、更高效的架构，不依赖句法特征或复杂的解码机制。
• 通过自注意力机制提升在域内和域外 SRL 数据集上的性能。
• 在保持或超越当前最先进性能的同时，实现高速推理。

提出的方法

• 该模型使用自注意力机制，直接捕捉任意两个词元之间的全局依赖关系，无论距离远近，与 RNN 的 O(n) 路径长度相比，实现 O(1) 的路径长度。
• 以原始话语和谓词掩码作为输入，不使用句法特征或上下文窗口。
• 该架构将自注意力与三种变体结合：循环（RNN）、卷积（CNN）和前馈（FFN）网络，以丰富表示。
• 该模型将 SRL 视为 BIO 标注问题，并在逻辑回归结果上应用 argmax 解码进行推理，避免使用复杂的 CRF 或约束解码。
• 自注意力机制允许信息无阻碍流动，更好地建模潜在的句法结构。
• 前馈变体支持高度并行化，有助于在单张 Titan X GPU 上实现每秒 50,000 个词元的解析速度。

实验结果

研究问题

• RQ1 与 RNN 相比，自注意力能否有效建模语义角色标注中的长距离依赖关系？
• RQ2 在不使用句法输入的情况下，基于自注意力的模型是否能在标准 SRL 基准上超越基于 RNN 的模型？
• RQ3 与以往的端到端方法相比，该模型在域外数据上的表现如何？
• RQ4 在 SRL 中，更简单的解码策略（如 argmax）是否能取得优于或相当的结果，相比 CRF 或约束解码？
• RQ5 基于自注意力的 SRL 模型在速度和可扩展性方面具有怎样的计算效率？

主要发现

• 所提出的 DeepAtt 模型在 CoNLL-2005 数据集上取得 83.4 的 F1 分数，比之前的最先进方法高出 1.8 分。
• 在 CoNLL-2012 数据集上，该模型取得 82.7 的 F1 分数，比先前最先进方法提升 1.0 分。
• 在域外数据集上，该模型相比之前的端到端方法性能提升 2.0 F1 分。
• 该模型的前馈变体实现了高速推理，在单张 Titan X GPU 上每秒可解析 50,000 个词元。
• 混淆矩阵显示，区分困难的附加状语角色（如 AM-DIR、AM-LOC、AM-MNR）的错误率降低，表明在具有挑战性的语义区分上泛化能力更强。
• 模型的性能提升归因于自注意力机制比 RNN 更有效地建模长距离依赖关系和结构关系。