[论文解读] A Brief Survey and Comparative Study of Recent Development of Pronoun Coreference Resolution

Hongming Zhang, Xinran Zhao+1 more|arXiv (Cornell University)|Sep 27, 2020

Natural Language Processing Techniques参考文献 51被引用 4

一句话总结

本综述对最近在代词共指消解（PCR）方面的进展进行了全面分析，对比了在标准基准和具有挑战性的基准（如Winograd模式挑战）上的模型表现。结果表明，即使是最先进的模型在跨领域泛化和罕见指代对象方面仍存在困难，凸显了尽管在标准指标上表现优异，但在常识推理和鲁棒性方面仍存在局限。

ABSTRACT

Pronoun Coreference Resolution (PCR) is the task of resolving pronominal expressions to all mentions they refer to. Compared with the general coreference resolution task, the main challenge of PCR is the coreference relation prediction rather than the mention detection. As one important natural language understanding (NLU) component, pronoun resolution is crucial for many downstream tasks and still challenging for existing models, which motivates us to survey existing approaches and think about how to do better. In this survey, we first introduce representative datasets and models for the ordinary pronoun coreference resolution task. Then we focus on recent progress on hard pronoun coreference resolution problems (e.g., Winograd Schema Challenge) to analyze how well current models can understand commonsense. We conduct extensive experiments to show that even though current models are achieving good performance on the standard evaluation set, they are still not ready to be used in real applications (e.g., all SOTA models struggle on correctly resolving pronouns to infrequent objects). All experiment codes are available at https://github.com/HKUST-KnowComp/PCR.

研究动机与目标

• 对标准和具有挑战性的基准上近期代词共指消解（PCR）进展进行综述。
• 评估当前模型在处理常识推理方面的能力，特别是在Winograd模式挑战等复杂案例中的表现。
• 识别现有模型的关键局限，尤其是其在罕见或不常见指代对象以及跨领域泛化方面表现不佳的问题。
• 为PCR提供数据集、模型和评估协议的统一概览，以支持未来研究。
• 发布代码和资源，以促进可复现研究和PCR领域模型的持续改进。

提出的方法

• 作者对普通代词共指消解的代表性数据集和模型进行了对比综述，包括CoNLL-2012和近期的端到端模型。
• 在两种设置下评估了最先进模型在CoNLL-2012数据集上的表现：有和没有黄金提及注释，以隔离代词到提及预测的挑战。
• 通过分析模型在Winograd模式挑战（WSC）上的表现，评估其常识推理能力，并对比预训练语言模型及其微调变体的结果。
• 通过广泛的消融研究调查模型对超参数的敏感性，特别是在低资源或分布外设置下。
• 综述了医疗、多语言、对话式、性别偏见和视觉感知PCR等专门的PCR任务，突出各领域的特定挑战和数据集。
• 所有实验代码均通过GitHub发布，以支持可复现性及社区驱动的模型开发。

实验结果

研究问题

• RQ1 当前最先进模型在标准代词共指消解基准上的表现如何？其在实际部署中的局限性是什么？
• RQ2 现有模型在Winograd模式挑战中利用常识推理解析代词的程度如何？
• RQ3 为何即使在标准指标上表现良好，模型在解析不常见或罕见指代对象时仍存在困难？
• RQ4 当前模型对超参数选择的敏感性如何？这是否会影响其在实际应用中的可靠性？
• RQ5 在医疗、对话式或视觉感知等专门PCR任务中，性能的关键差异是什么？

主要发现

• 尽管在标准评估集上表现优异，最先进模型在跨领域设置下仍无法有效泛化，尤其是在解析代词到不常见指代对象时。
• 端到端模型在CoNLL-2012数据集中无黄金提及的情况下F1达到0.705，但在NP-P和NP-NP关系上的表现显著下降，表明代词到名词短语的解析仍是最具挑战性的子任务。
• 所有SOTA模型在解析代词到不常见对象时均表现不佳，表明在数据效率和OOV（词汇外）泛化方面存在关键差距。
• 微调后的预训练语言模型在Winograd模式挑战中接近人类表现，但对超参数设置高度敏感，限制了其在实际应用中的可靠性。
• 视觉感知PCR任务表明，对话中15%的代词指代的是未被提及的视觉对象，凸显了多模态定位在实现鲁棒对话理解中的重要性。
• 预训练模型中仍存在性别偏见，例如代词'he'被不成比例地关联到与男性相关的角色（如医生），凸显了NLP系统中偏见缓解的必要性。