[论文解读] Acronym Identification and Disambiguation Shared Tasks for Scientific Document Understanding

Amir Pouran Ben Veyseh, Franck Dernoncourt+3 more|arXiv (Cornell University)|Dec 22, 2020

Biomedical Text Mining and Ontologies参考文献 31被引用 12

一句话总结

本论文提出了两个共享任务——科学文档理解中的缩略词识别与消歧（AI@SDU 和 AD@SDU），并引入了首个大规模、人工标注的科学缩略词数据集：SciAI（17,506 个句子）和 SciAD（62,441 个句子）。表现最佳的系统 DeepBlueAI 采用基于 BERT 的二分类方法，在消歧任务上取得了 94.05% 的 F1 值，显著优于基线模型，但仍不及人类水平表现（96.10% F1）。

ABSTRACT

Acronyms are the short forms of longer phrases and they are frequently used in writing, especially scholarly writing, to save space and facilitate the communication of information. As such, every text understanding tool should be capable of recognizing acronyms in text (i.e., acronym identification) and also finding their correct meaning (i.e., acronym disambiguation). As most of the prior works on these tasks are restricted to the biomedical domain and use unsupervised methods or models trained on limited datasets, they fail to perform well for scientific document understanding. To push forward research in this direction, we have organized two shared task for acronym identification and acronym disambiguation in scientific documents, named AI@SDU and AD@SDU, respectively. The two shared tasks have attracted 52 and 43 participants, respectively. While the submitted systems make substantial improvements compared to the existing baselines, there are still far from the human-level performance. This paper reviews the two shared tasks and the prominent participating systems for each of them.

研究动机与目标

• 为解决科学文档中缩略词识别与消歧缺乏大规模人工标注数据集的问题。
• 克服先前研究的局限性，即通常局限于生物医学领域，或使用无监督方法与小规模数据集。
• 通过设立共享任务，对缩略词处理系统进行基准测试与改进，推动科学文档理解的发展。
• 提供公开可获取的高质量数据集（SciAI 和 SciAD），以支持未来科学文本中缩略词处理的研究。

提出的方法

• 作者创建了 SciAI，一个从 arXiv 科学论文中人工标注的 17,506 个句子的数据集，用于缩略词识别。
• 他们构建了更大的 SciAD 数据集，包含 62,441 个句子，用于缩略词消歧，使用了包含 732 个歧义缩略词的词典。
• AI@SDU 共享任务使用 SciAI 来评估系统在科学文本中识别缩略词及其全称形式的能力。
• AD@SDU 共享任务使用 SciAD 来评估系统在多个候选全称中选择正确全称形式的能力。
• 参赛者采用了多种方法，包括基于特征的模型（SVM、朴素贝叶斯）、神经网络（LSTM、CNN）以及基于 Transformer 的模型（BERT、RoBERTa）。
• 表现最佳的系统 DeepBlueAI 使用基于 BERT 的二分类模型，通过序列输入格式 [long_form] [SEP] [sentence] 对每个候选全称进行评分，并使用特殊标记标识缩略词位置。

实验结果

研究问题

• RQ1 与基线模型相比，当前方法在科学文档中的缩略词识别效果如何？
• RQ2 神经网络与基于 Transformer 的模型在多大程度上能够提升科学文本中的缩略词消歧性能？
• RQ3 在缩略词消歧任务中，最先进系统与人类水平表现之间的性能差距有多大？
• RQ4 在缩略词消歧任务中，基于特征的方法、神经网络方法与基于 Transformer 的方法相比表现如何？
• RQ5 大规模人工标注数据集是否能显著提升缩略词处理任务的性能？

主要发现

• AI@SDU 共享任务吸引了 52 支团队和 19 份提交，表现最佳的系统（hdBERT）在测试集上达到 96.94% 精确率、90.73% 召回率和 93.73% F1 值。
• AD@SDU 共享任务吸引了 44 支团队和 12 份提交，表现最佳的系统（DeepBlueAI）在 SciAD 测试集上达到 96.95% 精确率、91.32% 召回率和 94.05% F1 值。
• 尽管相比基线模型（60.97% F1）有显著提升，但最佳系统仍落后于人类表现（97.82% 精确率、94.45% 召回率、96.10% F1）。
• 基于 Transformer 的模型，尤其是 BERT 和 RoBERTa，在两项任务中均优于传统的基于特征和神经网络的模型。
• 跨度预测与信息检索方法（例如使用嵌入向量的余弦相似度）表现出具有竞争力的性能，表明消歧任务存在多种有效的策略。
• 公开发布的 SciAI 和 SciAD 数据集是迄今为止科学文档中缩略词处理任务的最大规模人工标注资源。