[论文解读] Leveraging Domain Agnostic and Specific Knowledge for Acronym Disambiguation

Qiwei Zhong, Guanxiong Zeng+5 more|arXiv (Cornell University)|Jul 1, 2021

Biomedical Text Mining and Ontologies参考文献 18被引用 7

一句话总结

该论文提出 hdBERT，一种分层双路径 BERT 模型，通过联合利用领域无关（RoBERTa）和领域特定（SciBERT）表示，实现科学缩略语消歧。通过多层感知机融合这两种双路径上下文嵌入，hdBERT 在 SciAD 数据集上实现了 93.73% 的宏平均 F1 分数，优于先前的最先进方法。

ABSTRACT

An obstacle to scientific document understanding is the extensive use of acronyms which are shortened forms of long technical phrases. Acronym disambiguation aims to find the correct meaning of an ambiguous acronym in a given text. Recent efforts attempted to incorporate word embeddings and deep learning architectures, and achieved significant effects in this task. In general domains, kinds of fine-grained pretrained language models have sprung up, thanks to the largescale corpora which can usually be obtained through crowdsourcing. However, these models based on domain agnostic knowledge might achieve insufficient performance when directly applied to the scientific domain. Moreover, obtaining large-scale high-quality annotated data and representing high-level semantics in the scientific domain is challenging and expensive. In this paper, we consider both the domain agnostic and specific knowledge, and propose a Hierarchical Dual-path BERT method coined hdBERT to capture the general fine-grained and high-level specific representations for acronym disambiguation. First, the context-based pretrained models, RoBERTa and SciBERT, are elaborately involved in encoding these two kinds of knowledge respectively. Second, multiple layer perceptron is devised to integrate the dualpath representations simultaneously and outputs the prediction. With a widely adopted SciAD dataset contained 62,441 sentences, we investigate the effectiveness of hdBERT. The experimental results exhibit that the proposed approach outperforms state-of-the-art methods among various evaluation metrics. Specifically, its macro F1 achieves 93.73%.

研究动机与目标

• 解决在应用通用领域预训练模型时，科学缩略语消歧性能较低的挑战。
• 克服科学缩略语消歧任务中大规模高质量标注数据稀缺且成本高昂的问题。
• 整合细粒度的一般知识与高层次的科学领域特定语义，以提高消歧准确性。
• 开发一个统一框架，有效结合多个预训练语言模型，以提升低资源科学 NLP 任务的性能。

提出的方法

• 使用在通用领域语料上使用字节级 BPE 分词预训练的 RoBERTa，以捕捉领域无关的细粒度语义表示。
• 利用在大规模科学出版物语料上使用 WordPiece 分词预训练的 SciBERT，以建模高层次的科学领域特定语义。
• 将输入句子和候选全称同时输入 RoBERTa 和 SciBERT 编码器，生成双路径上下文表示。
• 将两个模型的最终隐藏状态拼接，并通过多层感知机进行端到端分类。
• 在 SciAD 数据集上使用监督微调，通过交叉熵损失端到端训练整个模型。
• 利用 Transformer 架构，实现对上下文和候选扩展中长距离依赖关系的有效注意力建模。

实验结果

研究问题

• RQ1 结合领域无关和领域特定的预训练语言模型是否能提升科学文本中缩略语消歧的性能？
• RQ2 与单模型基线相比，RoBERTa 和 SciBERT 的双路径表示融合如何影响消歧准确率？
• RQ3 hdBERT 在 SciAD 基准上相较于现有最先进方法的性能提升程度如何？
• RQ4 当前模型的失败案例是什么？双路径建模能否解决单模型失败的模糊情况？

主要发现

• hdBERT 在 SciAD 数据集上实现了 93.73% 的宏平均 F1 分数，显著优于先前的最先进方法。
• 与单独使用 RoBERTa 和 SciBERT 相比，该模型在验证集上表现出更快的收敛速度和更低的损失，表明双表示融合有效。
• 在 RoBERTa 和 SciBERT 单独预测失败的情况下（例如，将 'SM' 错误预测为 'Shared Memory' 而非 'Streaming Multiprocessors'），hdBERT 能够正确识别正确的全称。
• 尽管性能有所提升，但所有模型——包括 hdBERT——在宏召回率和 F1 分数上仍低于人类水平，表明仍有进一步研究空间。
• 该模型在高频短语（如 'Federated Learning'）上表现不佳，常因注意力偏差将 'FL' 错误分类为 'Federated Learning' 而非 'Fixated Locations'。
• 数据集中的噪声（如冲突标注，例如 'RF' 同时被标注为 'Regression Forest' 和 'Regression Function'）可能对模型泛化能力产生负面影响。