[论文解读] Infusing Disease Knowledge into BERT for Health Question Answering, Medical Inference and Disease Name Recognition

Yun He, Ziwei Zhu+3 more|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 41被引用 10

一句话总结

本文提出一种疾病知识注入方法，通过使用维基百科结构化段落，让 BERT 及其生物医学变体在疾病描述文本中预测疾病和方面标签，从而增强其在医疗 NLP 任务中的表现。该方法在医疗问答、医学推理和疾病名称识别任务中均取得性能提升，其中 BioBERT 在 MEDIQA-2019 上达到 72.09% 的准确率，相比原始模型提升 3.8 个百分点。

ABSTRACT

Knowledge of a disease includes information of various aspects of the disease, such as signs and symptoms, diagnosis and treatment. This disease knowledge is critical for many health-related and biomedical tasks, including consumer health question answering, medical language inference and disease name recognition. While pre-trained language models like BERT have shown success in capturing syntactic, semantic, and world knowledge from text, we find they can be further complemented by specific information like knowledge of symptoms, diagnoses, treatments, and other disease aspects. Hence, we integrate BERT with disease knowledge for improving these important tasks. Specifically, we propose a new disease knowledge infusion training procedure and evaluate it on a suite of BERT models including BERT, BioBERT, SciBERT, ClinicalBERT, BlueBERT, and ALBERT. Experiments over the three tasks show that these models can be enhanced in nearly all cases, demonstrating the viability of disease knowledge infusion. For example, accuracy of BioBERT on consumer health question answering is improved from 68.29% to 72.09%, while new SOTA results are observed in two datasets. We make our data and code freely available.

研究动机与目标

• 为解决标准 BERT 预训练在捕捉结构化疾病知识（如症状、诊断和治疗）方面的局限性。
• 通过注入显式的疾病知识，提升在医疗相关 NLP 任务（如消费者健康问答、医学语言蕴含和疾病名称识别）中的性能。
• 开发一种弱监督训练流程，利用维基百科章节提供疾病和方面预测的信号。
• 证明将疾病特异性知识整合到 BERT 模型中，可超越通用预训练带来的性能提升。

提出的方法

• 从维基百科章节（如某疾病的“诊断”或“治疗”部分）构建疾病描述段落，提取特定方面的子章节文本。
• 创建辅助句子，如“[疾病] 的[方面]是什么？”，并将其附加到每个段落之前，以提供显式监督信号。
• 在辅助句子中遮蔽疾病和方面，并微调 BERT 模型以根据段落预测这两个实体，从而实现疾病与方面推理的联合学习。
• 采用多任务目标，同时包含掩码语言建模和疾病/方面预测，损失函数通过最大化原始 logits 以改善优化过程。
• 在大规模疾病相关维基百科段落语料上预训练模型，利用文章的分层结构引导知识注入。
• 将该方法应用于多种 BERT 变体，包括 BioBERT、ClinicalBERT 和 ALBERT，以评估其在不同架构上的泛化能力。

实验结果

研究问题

• RQ1 将结构化疾病知识注入 BERT 是否能提升其在医疗相关 NLP 任务（如问答和医学推理）中的性能？
• RQ2 所提出的疾病知识注入方法是否优于标准的掩码语言建模预训练方式，用于生物医学 NLP 任务？
• RQ3 当段落中未显式提及疾病或方面时，辅助问题句子的引入对模型性能有何影响？
• RQ4 模型在预测疾病与预测方面方面的能力，对整体任务性能的影响程度如何？
• RQ5 该疾病知识注入方法是否可在不同 BERT 架构（包括生物医学和大规模模型如 ALBERT）上实现泛化？

主要发现

• BioBERT 在 MEDIQA-2019 消费者健康问答基准上的准确率从 68.29% 提升至 72.09%，绝对提升 3.8 个百分点，表明知识注入的显著效果。
• 该方法在两个数据集上达到新的 SOTA 结果，证明在多个任务和模型上均具有一致的性能提升。
• 移除辅助句子后准确率下降至 78.23%（对比 79.49%），表明其在处理未显式提及疾病或方面的段落时具有关键作用。
• 疾病预测比方面预测更为关键：若移除疾病预测任务，准确率降至 72.90%；而移除方面预测仅导致较小降幅。
• 所提出的疾病注入任务优于标准的 15% 随机掩码预训练方式，准确率分别为 77.06% 和 79.49%，表明结构化掩码比随机掩码更有效。
• ALBERT 在多个基准上达到与生物医学 BERT 模型相当或更优的性能，表明其在更大架构上的可扩展潜力。