[论文解读] A Unified Linear-Time Framework for Sentence-Level Discourse Parsing

Xiang Lin, Shafiq Joty+2 more|arXiv (Cornell University)|May 14, 2019

Topic Modeling参考文献 30被引用 8

一句话总结

本文提出了一种基于指针网络（Pointer Networks）的统一端到端神经框架，用于在修辞结构理论（Rhetorical Structure Theory, RST）下的句子级语篇解析，实现了线性时间复杂度的最先进性能。该框架采用编码器-解码器架构，联合训练语篇切分器与解析器，在切分任务上达到95.5的F1值，在关系标注任务上达到81.7的F1值，接近人类水平表现，同时相比先前系统最快可提升11.6倍速度。

ABSTRACT

We propose an efficient neural framework for sentence-level discourse analysis in accordance with Rhetorical Structure Theory (RST). Our framework comprises a discourse segmenter to identify the elementary discourse units (EDU) in a text, and a discourse parser that constructs a discourse tree in a top-down fashion. Both the segmenter and the parser are based on Pointer Networks and operate in linear time. Our segmenter yields an $F_1$ score of 95.4, and our parser achieves an $F_1$ score of 81.7 on the aggregated labeled (relation) metric, surpassing previous approaches by a good margin and approaching human agreement on both tasks (98.3 and 83.0 $F_1$).

研究动机与目标

• 开发一种高效、端到端的神经框架，用于在修辞结构理论（Rhetorical Structure Theory, RST）下的句子级语篇分析。
• 通过使用预训练词嵌入的纯神经架构，消除对手工设计特征的依赖。
• 将语篇切分与解析统一为单一联合学习框架，以提升性能。
• 在保持全局上下文感知能力的同时，实现线性时间推理，通过编码器-解码器建模实现。
• 在准确率与推理速度上，显著超越现有最先进系统。

提出的方法

• 该框架以指针网络作为切分器与解析器的核心，支持带有注意力机制的序列到序列建模。
• 切分器通过在输入词元上使用基于指针的解码器，预测跨度边界，识别基本语篇单元（Elementary Discourse Units, EDUs）。
• 解析器采用自顶向下的、基于转移的方式，利用指针解码器预测父子关系及关系类型，构建语篇树。
• 编码器处理完整输入文本以捕捉全局上下文，而解码器通过关注编码表示，逐步生成语篇结构。
• 通过共享编码器和端到端反向传播，实现切分器与解析器的联合训练，支持相互优化。
• 模型使用预训练的GloVe词嵌入，避免手工设计特征，完全依赖神经表示。

实验结果

研究问题

• RQ1 统一的神经框架是否能在不依赖手工特征的前提下，实现句子级语篇解析的最先进性能？
• RQ2 切分与解析的联合训练在多大程度上提升了整体语篇分析性能？
• RQ3 基于指针网络的架构是否能在实现线性时间复杂度的同时，保持对全局上下文的感知能力？
• RQ4 所提出的框架在准确率与推理速度上，相较于现有系统有多大的超越？
• RQ5 神经模型在语篇切分与解析任务上，能在多大程度上接近人类水平表现？

主要发现

• 所提出的切分器在RST-DT数据集上达到95.5的F1值，相比之前最先进方法相对误差降低32%。
• 解析器在自动切分条件下的关系标注任务中达到81.7的F1值，相比最佳先前系统相对误差降低17%。
• 切分器与解析器的联合训练使切分性能达到95.5的F1值，解析性能达到81.7的F1值，接近人类标注一致性（分别为98.3和83.0的F1值）。
• 端到端系统在关系标注任务上达到77.5的F1值，即使在自动切分条件下，也优于DCRF基线模型。
• 该系统在GPU上比最快现有系统（SPADE）快11.6倍，在CPU上快5.9倍，GPU推理速度达每秒35.54个句子。
• 消融实验表明，使用单一联合分类器进行核性与关系预测，相比独立分类器性能更优，原因在于强制施加了结构约束。