[论文解读] Domain-Relevant Embeddings for Medical Question Similarity

Clara H. McCreery, Namit Katariya+3 more|arXiv (Cornell University)|Oct 9, 2019

Topic Modeling参考文献 13被引用 5

一句话总结

本文提出一种基于医学问答对的半监督预训练方法，以提升医学问题相似度，相较于通用领域预训练（如Quora）平均提升3.7%的准确率。该方法将领域特定的医学知识嵌入BERT类模型中，通过利用领域内中间任务进行迁移学习，显著提升性能，尤其在标注数据有限的情况下表现突出，显著增强医学NLP的性能。

ABSTRACT

The rate at which medical questions are asked online far exceeds the capacity of qualified people to answer them, and many of these questions are not unique. Identifying same-question pairs could enable questions to be answered more effectively. While many research efforts have focused on the problem of general question similarity for non-medical applications, these approaches do not generalize well to the medical domain, where medical expertise is often required to determine semantic similarity. In this paper, we show how a semi-supervised approach of pre-training a neural network on medical question-answer pairs is a particularly useful intermediate task for the ultimate goal of determining medical question similarity. While other pre-training tasks yield an accuracy below 78.7% on this task, our model achieves an accuracy of 82.6% with the same number of training examples, and an accuracy of 80.0% with a much smaller training set.

研究动机与目标

• 通过将通用NLP模型适配至医学领域，以提升医学问题相似度。
• 探究在医学QA对上进行领域内预训练是否优于在通用问题对上进行领域外预训练。
• 评估训练数据规模对医学问题相似度模型性能的影响。
• 分析模型错误，识别与医学术语和表达方式相关的根本原因。
• 探索领域特定预训练如何提升模型对医学细微语言的理解能力。

提出的方法

• 在医学问题-答案（QA）对数据集上微调BERT和XLNet，以在领域特定知识上进行预训练。
• 通过从医生标注的数据中创建正样本（匹配）和负样本（不匹配）问题对，采用半监督方法。
• 执行双重微调：首先在中间任务（QA或Quora）上微调，然后在最终的医学问题相似度任务上微调。
• 从预训练数据中隔离并移除用于最终任务的问题，以避免数据泄露。
• 通过迭代修改输入问题，隔离导致问题的语言或医学特征，进行错误分析。
• 使用人工标注（准确率达87.6%）建立模型评估的基准。

实验结果

研究问题

• RQ1 与在通用领域问题对上预训练相比，在医学QA对上预训练是否能提升医学问题相似度性能？
• RQ2 随着最终任务训练集规模减小，领域内与领域外预训练之间的性能差距如何变化？
• RQ3 哪些语言或医学特征会导致模型对问题相似度判断出错？
• RQ4 领域内预训练是否能帮助模型理解通用模型容易忽略的非字面表达或医学专用术语？
• RQ5 在医学QA对上预训练的模型，相较于在通用QQP数据上预训练的模型，能在多大程度上更好地学习医学同义词和语境细微差别？

主要发现

• 在医学QA对上进行预训练，使最终医学问题相似度任务的准确率达到82.6%，平均优于次优模型3.7%。
• 随着训练集规模减小，领域内与领域外模型之间的性能差距显著扩大，在1.9k个训练样本时差距最高达4.4%。
• 在医学QA对上预训练的模型能正确分类涉及非字面表达的示例（例如“4’8"”表示生长不良），而通用模型因误解医学术语而误分类。
• 错误分析显示，领域外模型在涉及医学同义词或非标准表达的问题上频繁出错，而领域内模型能正确处理这些情况。
• QQP模型虽能学习一般表达的等价性，但难以处理医学专用术语；而QA模型即使在训练数据有限的情况下，也能捕捉到与医学相关的语义。
• 本研究证明，在医学NLP中，预训练的领域相关性比任务相似性更为关键，尤其在低数据场景下。