[论文解读] Dialogue-Based Relation Extraction

Dian Yu, Kai Sun+2 more|arXiv (Cornell University)|Apr 17, 2020

Topic Modeling参考文献 63被引用 6

一句话总结

本论文提出了DialogRE，这是首个用于对话式关系抽取的人工标注数据集，包含来自电视剧《老友记》的1,788段对话中的10,168个关系三元组。该研究提出了一种考虑说话人身份的关系抽取模型，在标准方法上取得了显著性能提升，表明说话人上下文在对话场景中进行跨句关系检测时至关重要。

ABSTRACT

We present the first human-annotated dialogue-based relation extraction (RE) dataset DialogRE, aiming to support the prediction of relation(s) between two arguments that appear in a dialogue. We further offer DialogRE as a platform for studying cross-sentence RE as most facts span multiple sentences. We argue that speaker-related information plays a critical role in the proposed task, based on an analysis of similarities and differences between dialogue-based and traditional RE tasks. Considering the timeliness of communication in a dialogue, we design a new metric to evaluate the performance of RE methods in a conversational setting and investigate the performance of several representative RE methods on DialogRE. Experimental results demonstrate that a speaker-aware extension on the best-performing model leads to gains in both the standard and conversational evaluation settings. DialogRE is available at https://dataset.org/dialogre/.

研究动机与目标

• 为解决对话文本，特别是对话中关系抽取缺乏标注数据集的问题。
• 探究说话人身份在跨句关系抽取中的作用，其中关系通常跨越多个话语。
• 设计一种专为实时对话应用优化的新评估指标，以补充标准的F1分数。
• 使用最先进的神经关系抽取模型在DialogRE上建立基线性能。
• 证明说话人感知建模在提升对话场景下关系抽取性能中的重要性。

提出的方法

• 从《老友记》电视剧中人工标注1,788段对话，涵盖36种预定义的关系类型，共生成10,168个关系三元组。
• 收集能够表达每条关系的最小连续文本片段，以支持细粒度解释与证据归属。
• 设计一种新的对话评估指标，用于衡量早期关系检测性能，反映实时对话处理的需求。
• 适配强大的神经关系抽取模型（如基于BERT的模型），并为表现最佳的模型扩展说话人感知注意力机制。
• 通过引入说话人嵌入或对对话参与者进行注意力计算，将说话人身份作为关键信号，以提升跨句推理能力。
• 在标准与对话评估设置下对模型在DialogRE上进行训练与评估，以比较性能表现。

实验结果

研究问题

• RQ1 对话在语言与结构特征上与正式文本有何不同，特别是在跨句关系表达方面？
• RQ2 说话人身份在多大程度上影响对话中关系抽取的准确性？
• RQ3 对现有神经关系抽取模型进行说话人感知扩展，能否提升其在对话式关系抽取上的性能？
• RQ4 所提出的对话评估指标在捕捉实时性能方面是否有效，相较于标准F1分数？
• RQ5 对话中有多大比例的关系需要来自多个对话轮次的信息？这对模型设计有何影响？

主要发现

• 约96.0%的标注关系三元组依赖于跨越多个句子的内容支持，凸显了对话关系抽取中跨句推理的必要性。
• 65.9%的关系三元组涉及的论元未在同一话语中共同出现，表明多轮上下文对准确关系检测至关重要。
• DialogRE中89.9%的关系为说话人属性或说话人之间的关系，凸显了说话人上下文的重要性。
• 对表现最佳模型（基于Devlin et al., 2019）引入说话人感知机制后，在标准F1与新对话评估指标上均取得显著性能提升。
• 所提出的对话评估指标有效捕捉了关系检测的及时性，揭示了标准F1在实时对话应用中的局限性。
• 该数据集表明，对话中的指代消解与依存句法分析仍具挑战性，尤其因代词频率高且信息密度低。