[论文解读] End-to-end Multilingual Coreference Resolution with Mention Head Prediction

Ondřej Pražák, Miloslav Konopík|arXiv (Cornell University)|Sep 26, 2022

Topic Modeling被引用 4

一句话总结

该论文提出了一种端到端的多语言共指消解模型，通过提及头预测提升性能，利用 XLM-RoBERTa-large 进行联合多语言预训练。该系统在 CRAC 2022 共享任务中获得第三名，并在两个数据集上排名第一，通过直接优化 CoNLL F1 分数（使用头词跨度）实现，表明头预测有助于与官方评估指标对齐。

ABSTRACT

This paper describes our approach to the CRAC 2022 Shared Task on Multilingual Coreference Resolution. Our model is based on a state-of-the-art end-to-end coreference resolution system. Apart from joined multilingual training, we improved our results with mention head prediction. We also tried to integrate dependency information into our model. Our system ended up in $3^{rd}$ place. Moreover, we reached the best performance on two datasets out of 13.

研究动机与目标

• 在统一的端到端框架中，使用单一模型处理 13 种语言的多语言共指消解。
• 通过使模型预测与官方 CoNLL F1 评分器对齐（该评分器使用以头词为中心的最小提及跨度），提升在 CRAC 2022 共享任务中的性能。
• 探究预测提及头词而非完整跨度是否能增强模型与评估指标的对齐。
• 探索将句法结构（依存树）整合到模型中以提升共指消解性能。
• 评估联合多语言预训练与单语微调在低资源语言上的有效性。

提出的方法

• 该模型基于基于 Transformer 的端到端共指消解框架，直接从所有可能的提及跨度预测先行词，无需预先进行提及检测。
• 系统使用 XLM-RoBERTa-large 作为基础编码器，在所有 13 个 CorefUD 数据集上进行联合多语言预训练，之后按语言进行微调。
• 在提及表示之上添加一个专门的头预测头，用于预测每个提及的头词，以优化 CoNLL 评分器所使用的最小跨度。
• 聚类过程中提及以完整跨度表示，但仅使用预测的头词进行评估，以匹配评分器的部分提及匹配规则。
• 尝试通过依存树注入句法依存信息，但由于实现问题，该方法未提升性能。
• 训练过程中最大化正确先行词的边际对数似然，定义为 $ J(D) = ext{log} ig( ext{prod}_{i=1}^{N} ext{sum}_{ ext{y} ext{ in } Y(i) ext{ and GOLD}(i)} P( ext{y}) ig) $。

实验结果

研究问题

• RQ1 联合多语言预训练是否在共享任务设置下显著提升低资源与高资源语言的共指消解性能？
• RQ2 仅预测提及头词而非完整跨度，在多大程度上能提升与使用最小跨度的 CoNLL F1 评分器的对齐？
• RQ3 能否有效将依存树中的句法结构整合到端到端共指模型中以提升性能？
• RQ4 为何单语模型在波兰语上优于多语模型，尽管后者参数量更大？
• RQ5 模型在具有不同单例提及与不连续提及比例的语言上的表现如何变化？

主要发现

• 该系统在 CRAC 2022 共享任务中总体排名第三，平均 CoNLL F1 得分为 65.94。
• 该模型在两个数据集上表现最佳——德语-ParCorFull（F1 为 73.90）和匈牙利语-SzegedKoref（F1 为 65.01），超过所有其他系统。
• 联合多语言预训练显著提升了小规模数据集（如德语）的性能，使得从随机初始化进行微调变得不可行。
• 提及头预测在三个数据集上带来了可测量的性能提升，表明与评分器的最小跨度规则对齐可提升评估分数。
• 尽管理论上依存树信息具有增强句法的潜力，但句法信息整合未带来性能提升，可能由于实现中的错误。
• 波兰语的单语模型优于多语 XLM-RoBERTa-large 模型，归因于高质量大规模单语模型的可用性以及数据集规模。