[论文解读] Discourse-Aware Semantic Self-Attention for Narrative Reading Comprehension

Todor Mihaylov, Anette Frank|arXiv (Cornell University)|Aug 28, 2019

Topic Modeling参考文献 52被引用 14

一句话总结

本文提出了一种话语感知语义自注意力（DASSA）机制，将语言学标注——共指、语义角色标注（SRL）和话语关系——整合到自注意力Transformer编码器中，用于叙事阅读理解。通过将注意力头专门化以聚焦于特定话语-语义关系，该模型在NarrativeQA数据集上相较于基线QANet模型，ROUGE-L指标最高提升了+3.43，尤其在长上下文和复杂推理问题上表现更优。

ABSTRACT

In this work, we propose to use linguistic annotations as a basis for a extit{Discourse-Aware Semantic Self-Attention} encoder that we employ for reading comprehension on long narrative texts. We extract relations between discourse units, events and their arguments as well as coreferring mentions, using available annotation tools. Our empirical evaluation shows that the investigated structures improve the overall performance, especially intra-sentential and cross-sentential discourse relations, sentence-internal semantic role relations, and long-distance coreference relations. We show that dedicating self-attention heads to intra-sentential relations and relations connecting neighboring sentences is beneficial for finding answers to questions in longer contexts. Our findings encourage the use of discourse-semantic annotations to enhance the generalization capacity of self-attention models for reading comprehension.

研究动机与目标

• 通过将话语-语义语言学标注整合到自注意力机制中，提升长篇叙事文本的阅读理解性能。
• 探究话语感知注意力头是否能增强模型在长上下文推理任务上的泛化能力。
• 评估不同语言学标注（共指、SRL和话语关系）对问答性能的影响。
• 确定针对句内和跨句关系的专用注意力头是否能提升答案准确率。
• 分析每类标注对特定问题类型（如who、when、why、where）及不同上下文长度的贡献。

提出的方法

• 该方法通过引入聚焦于特定语言学标注（共指、SRL和话语关系（DR））的话语感知自注意力头，扩展了QANet编码器。
• 使用现有工具提取语言学标注，并将其投影为标记级别的跨度，以整合到注意力机制中。
• 每个注意力头被限制仅关注特定标注类型所涉及的标记，通过可学习的作用范围掩码来限制注意力范围。
• 模型采用多头注意力机制，其中部分头专门用于话语-语义关系，其余头则保留在通用注意力中。
• 通过不增加模型总参数量或注意力计算量，保持计算效率。
• 在NarrativeQA数据集上对编码器进行端到端微调，用于阅读理解任务。

实验结果

研究问题

• RQ1 将话语-语义标注整合到自注意力机制中，是否能提升叙事阅读理解的性能？
• RQ2 在共指、SRL和话语关系中，哪类语言学标注对答案准确率的提升最为显著？
• RQ3 是否通过为句内和跨句关系专门化注意力头，能提升长上下文叙事文本的性能？
• RQ4 不同标注类型如何影响特定问题类型（如who、when、why、where）的性能？
• RQ5 话语感知注意力的整合是否能提升模型对更长上下文长度的泛化能力？

主要发现

• DASSA模型在NarrativeQA数据集上相较于基线QANet模型，ROUGE-L指标最高提升+3.43。
• 句内话语关系（DR）在所有上下文长度下均表现出最强且最一致的性能提升。
• 语义角色标注（SRL）显著提升了'who'和'when'问题的性能，尤其在短至中等规模上下文下。
• 共指消解虽有正向贡献，但提升较弱且更具上下文依赖性，主要体现在中等规模上下文中。
• 话语关系（尤其是显式DR）提升了'why'和'where'问题的性能，表明其增强了对因果和空间关系的推理能力。
• 模型在更长上下文（800–1000 token）下表现出更好的泛化能力，支持了话语感知注意力有助于捕捉长距离依赖的假设。