[论文解读] Findings of the Shared Task on Multilingual Coreference Resolution

Zdeněk Žabokrtský, Miloslav Konopík+8 more|arXiv (Cornell University)|Sep 16, 2022

Natural Language Processing Techniques被引用 9

一句话总结

本文介绍了在 CorefUD 1.0 上进行的多语言共指消解共享任务的成果，CorefUD 1.0 是一个经过统一的多语言数据集，涵盖 10 种语言的 13 个数据集。参赛者开发了可训练的系统，用于识别提及并按共指身份聚类，获胜系统在所有语言的平均 CoNLL F1 得分上比基于 Transformer 的基线系统高出 12 个百分点。

ABSTRACT

This paper presents an overview of the shared task on multilingual coreference resolution associated with the CRAC 2022 workshop. Shared task participants were supposed to develop trainable systems capable of identifying mentions and clustering them according to identity coreference. The public edition of CorefUD 1.0, which contains 13 datasets for 10 languages, was used as the source of training and evaluation data. The CoNLL score used in previous coreference-oriented shared tasks was used as the main evaluation metric. There were 8 coreference prediction systems submitted by 5 participating teams; in addition, there was a competitive Transformer-based baseline system provided by the organizers at the beginning of the shared task. The winner system outperformed the baseline by 12 percentage points (in terms of the CoNLL scores averaged across all datasets for individual languages).

研究动机与目标

• 通过在 10 种语言上使用统一的、人工标注的数据，建立一个标准化的多语言共指消解基准。
• 评估可训练系统在检测提及和解析共指链（包括零回指，例如省略的主语）方面的能力。
• 通过在不同语言类型学背景下使用 CoNLL F1 得分进行对比评估，推动多语言 NLP 的发展。
• 鼓励将句法信息（通过 Universal Dependencies 表示）整合到共指消解系统中。
• 通过识别数据质量问题并提出评估设置与数据覆盖范围的改进建议，为未来共享任务奠定基础。

提出的方法

• 使用 CorefUD 1.0，这是一个统一的多语言共指数据集，结合了共指和依存句法标注，采用 Universal Dependencies (UD) 格式。
• 采用 CoNLL F1 得分（在 MUC、B3 和 CEAF-e 上取平均）作为共指消解性能的主要评估指标。
• 提供一个基于 Transformer 的强基线系统，使用相同数据进行训练，作为性能参考基准。
• 允许参赛者使用依存句法来指导提及跨度检测和核心词识别，利用句法结构以提升共指预测性能。
• 将零回指（例如增强型 UD 中的空节点）视为有效的提及候选，使任务更能包容代词省略语言和省略结构。
• 设计评估设置，支持系统在不包含空节点的测试数据上运行，并通过评分器调整来处理空节点集合的差异。

实验结果

研究问题

• RQ1 当在统一的多语言数据集上进行训练和评估时，多语言共指消解系统在多种语言上的表现如何？
• RQ2 Universal Dependencies 中的句法信息在多语言环境下在多大程度上能提升共指消解性能？
• RQ3 系统能否有效解析包含零回指的共指链，特别是在代词省略语言中？
• RQ4 基于强基线的 Transformer 模型与独立研究团队开发的系统在相同多语言基准上的表现相比如何？
• RQ5 多语言共指消解中的主要失败模式和错误模式是什么，特别是在提及检测和聚类链接方面？

主要发现

• 获胜系统在所有 13 个数据集和 10 种语言上，平均 CoNLL F1 得分比基线系统高出 12 个百分点。
• 基线系统在检测由形容词派生的提及（例如捷克语中的 'ostravské'）以及某些名词短语方面表现不佳，尤其是在嵌套或复杂句法结构中。
• 一些系统（如 'straka'）检测到的提及比基线更多，并在基线失败的情况下正确解析了共指，但有时会遗漏孤立提及或错误理解发音相似的名称。
• 基线系统在报纸访谈中错误地将代词链接到名字，尤其是在存在多个具有相似头衔的个体时。
• 错误分析显示，系统在像 'tanto China como Perú' 这类表达中常出现误分类，其中黄金标准数据不一致地将该短语标注为单一提及，影响了系统得分。
• 该共享任务识别出 CorefUD 中存在轻微的统一化错误，并强调了需提升数据覆盖范围，特别是针对尚未包含的语言，以及在未来版本中整合 OntoNotes 数据。