[论文解读] Document Classification for COVID-19 Literature

Bernal Jiménez Gutiérrez, Juncheng Zeng+3 more|arXiv (Cornell University)|Jun 15, 2020

Topic Modeling参考文献 12被引用 5

一句话总结

本文在包含23,000篇COVID-19研究论文的LitCovid数据集上评估了多标签文档分类模型，发现微调过的预训练语言模型——尤其是BioBERT——表现最佳，分别达到86%的micro-F1和75%的准确率。该研究揭示了数据效率和泛化能力方面的挑战，指出标签相关性和对区分性文本部分关注不足是模型预测中的关键局限。

ABSTRACT

The global pandemic has made it more important than ever to quickly and accurately retrieve relevant scientific literature for effective consumption by researchers in a wide range of fields. We provide an analysis of several multi-label document classification models on the LitCovid dataset, a growing collection of 23,000 research papers regarding the novel 2019 coronavirus. We find that pre-trained language models fine-tuned on this dataset outperform all other baselines and that BioBERT surpasses the others by a small margin with micro-F1 and accuracy scores of around 86% and 75% respectively on the test set. We evaluate the data efficiency and generalizability of these models as essential features of any system prepared to deal with an urgent situation like the current health crisis. Finally, we explore 50 errors made by the best performing models on LitCovid documents and find that they often (1) correlate certain labels too closely together and (2) fail to focus on discriminative sections of the articles; both of which are important issues to address in future work. Both data and code are available on GitHub.

研究动机与目标

• 为应对疫情爆发期间对高效且准确检索相关COVID-19科学文献的迫切需求。
• 评估多种多标签文档分类模型在包含23,000篇带有多重主题标签的生物医学论文的LitCovid数据集上的性能。
• 评估模型的数据效率与泛化能力，特别是处理来自相关病毒爆发的域外文本的能力。
• 识别模型预测中的系统性错误，以指导可解释性和标签区分能力的改进。

提出的方法

• 在LitCovid数据集上对微调过的预训练语言模型（包括BERT、BioBERT和Longformer）进行多标签分类，涵盖八个类别：预防、治疗、诊断、机制、病例报告、传播、预测和综合。
• 使用1%至50%的训练数据进行训练，以评估数据效率，采用类别平衡采样以保持标签分布。
• 通过在来自不同但相关的生物医学语料库的100篇文章组成的保留测试集（CORD-19）上进行测试，评估模型的泛化能力。
• 对50篇误分类文档进行详细错误分析，以识别模型失败的模式，重点关注标签相关性和对非区分性文本部分的关注。
• 以micro-F1和准确率为首要评估指标，报告三次随机种子下的标准差以确保稳定性。
• 突出与每个标签相关的关键句子，并分析模型注意力模式，以评估模型是否聚焦于关键技术内容，还是被关于疫情的引言性文本所分散注意力。

实验结果

研究问题

• RQ1 哪些多标签文档分类模型在COVID-19文献的LitCovid数据集上表现最佳？
• RQ2 在疫情爆发期间常见的低资源环境下，不同模型架构的数据效率如何变化？
• RQ3 在LitCovid上微调的模型在推广到其他病毒爆发相关但不同的生物医学文本时，其泛化能力如何？
• RQ4 表现最佳的模型存在哪些系统性错误？这些错误与标签相关性和对区分性文本部分的关注有何关联？
• RQ5 通过显式建模标签依赖关系或过滤掉非信息性引言内容，能否改善模型行为？

主要发现

• BioBERT在LitCovid测试集上取得了最高的性能，micro-F1得分为86%，准确率为75%，优于BERT、Longformer和传统模型。
• 预训练语言模型，尤其是BioBERT，表现出卓越的数据效率，即使仅使用1%的训练数据也能实现强劲性能。
• 在CORD-19测试集上的泛化能力显著下降，准确率降至36.0%，micro-F1降至69.7%，表明从COVID-19到相关病毒文献的领域迁移能力较差。
• 在分析的50个错误中，34%是由于标注不一致造成的，10%需要超出摘要的全文访问，表明现有数据在分类方面存在局限。
• 模型频繁错误地过度关联预防、传播和预测等标签，导致这些标签被同时预测的频率高于真实标签，表明标签独立性学习能力差。
• 主要的失败模式是过度关注关于疫情的通用引言性文本，而对关键的技术性陈述（如论文的论点或方法论部分）关注不足，从而降低了模型的区分能力。