[论文解读] How compatible are our discourse annotations? Insights from mapping RST-DT and PDTB annotations

Vera Demberg, Fatemeh Torabi Asr+1 more|arXiv (Cornell University)|Apr 28, 2017

Natural Language Processing Techniques参考文献 31被引用 6

一句话总结

本文提出一种自动方法，用于对齐 RST-DT 与 PDTB 2.0 语料库中基于不同框架标注的语篇片段与关系。该方法基于实际标注评估现有理论映射方案，发现显式关系上一致性较强，但隐式关系上一致性较低，且存在因分段方式与操作化定义差异导致的系统性偏差。

ABSTRACT

Discourse-annotated corpora are an important resource for the community, but they are often annotated according to different frameworks. This makes comparison of the annotations difficult, thereby also preventing researchers from searching the corpora in a unified way, or using all annotated data jointly to train computational systems. Several theoretical proposals have recently been made for mapping the relational labels of different frameworks to each other, but these proposals have so far not been validated against existing annotations. The two largest discourse relation annotated resources, the Penn Discourse Treebank and the Rhetorical Structure Theory Discourse Treebank, have however been annotated on the same text, allowing for a direct comparison of the annotation layers. We propose a method for automatically aligning the discourse segments, and then evaluate existing mapping proposals by comparing the empirically observed against the proposed mappings. Our analysis highlights the influence of segmentation on subsequent discourse relation labeling, and shows that while agreement between frameworks is reasonable for explicit relations, agreement on implicit relations is low. We identify several sources of systematic discrepancies between the two annotation schemes and discuss consequences of these discrepancies for future annotation and for the training of automatic discourse relation labellers.

研究动机与目标

• 评估理论性映射提案在 RST-DT 与 PDTB 框架之间映射语篇关系标签的实证有效性。
• 调查两种主要语篇标注语料库——RST-DT 与 PDTB 2.0——在标注方案不同的情况下的兼容程度。
• 识别由于分段方式与标注指南操作化差异所导致的语篇关系标注中的系统性偏差。
• 为改进未来标注指南以及利用多框架数据训练自动语篇关系分类器提供洞见。
• 公开发布经对齐的 RST-DT 与 PDTB 2.0 语料映射版本，供研究使用。

提出的方法

• 开发一种自动对齐方法，基于重叠范围与结构相似性，将 RST-DT 与 PDTB 2.0 中的语篇片段进行匹配。
• 结合句法、语义与语篇层面特征，实现两种标注方案间语篇单元的匹配。
• 将现有理论映射提案（如 Bunt & Prasad, 2016；Benamara & Taboada, 2015；Chiarcos, 2014；Sanders et al., 2016）应用于对齐后的数据，进行实证评估。
• 将所提出的映射与实际标注进行对比，评估其准确率与一致性，重点关注显式关系与隐式关系的差异。
• 分析标签不匹配的案例，识别系统性偏差的模式，例如 RST-DT 中的 Contrast 常被映射为 PDTB 中的 Concession。
• 生成一个公开可用的对齐语料库，以支持未来在语篇解析与标注标准统一方面的研究。

实验结果

研究问题

• RQ1 理论性提案在 RST-DT 与 PDTB 2.0 之间映射语篇关系标签时，与同一文本中的实际标注有多吻合？
• RQ2 分段选择在多大程度上影响了 RST-DT 与 PDTB 2.0 中语篇关系的标注？
• RQ3 为何在两个框架中，隐式关系的标注一致性低于显式关系？
• RQ4 在特定关系类型（如 Contrast 或 Causation）上，RST-DT 与 PDTB 2.0 之间存在哪些系统性偏差？
• RQ5 观察到的不匹配现象如何为未来标注指南的制定以及自动语篇关系分类器的训练提供参考？

主要发现

• 在显式关系上，RST-DT 与 PDTB 2.0 之间的一致性较高，尤其在涉及连接词时，但一致性程度因连接词的多义性而有显著差异。
• 在连接词如 'but' 上的分歧尤为明显，因其可表示对比或让步关系，表明两个框架在标签应用上存在不一致。
• 对于隐式关系，两个框架之间的一致性较低，表明当前标注实践在不同标注方案间未能产生一致的标注结果。
• 发现了系统性偏差：RST-DT 中的 Causal 关系常被标注为 PDTB 中的 Additive，而 RST-DT 中的 Contrast 常被映射为 PDTB 中的 Concession。
• 标注指南的操作化方式——如标注过程中对隐式连接词的使用——对关系标注结果有可测量的影响。
• 映射后的语料显示，某些关系类型（如 PDTB 的 Concession 与 RST 的 Contrast）需要更精细的定义，以提升跨框架的一致性。