[论文解读] Effective Transfer Learning for Identifying Similar Questions: Matching User Questions to COVID-19 FAQs

Clara H. McCreery, Namit Katariya+3 more|arXiv (Cornell University)|Aug 4, 2020

Topic Modeling被引用 11

一句话总结

本文提出一种双阶段微调迁移学习方法，以提升医学问题相似度匹配性能，在医学问答对上进行预训练，随后在标注的医学问题对上进行微调。该方法在医生标注的数据集上达到84.5%的准确率，显著优于基线模型，并已用于实时匹配用户COVID-19问题与FAQ的线上系统。

ABSTRACT

People increasingly search online for answers to their medical questions but the rate at which medical questions are asked online significantly exceeds the capacity of qualified people to answer them. This leaves many questions unanswered or inadequately answered. Many of these questions are not unique, and reliable identification of similar questions would enable more efficient and effective question answering schema. COVID-19 has only exacerbated this problem. Almost every government agency and healthcare organization has tried to meet the informational need of users by building online FAQs, but there is no way for people to ask their question and know if it is answered on one of these pages. While many research efforts have focused on the problem of general question similarity, these approaches do not generalize well to domains that require expert knowledge to determine semantic similarity, such as the medical domain. In this paper, we show how a double fine-tuning approach of pretraining a neural network on medical question-answer pairs followed by fine-tuning on medical question-question pairs is a particularly useful intermediate task for the ultimate goal of determining medical question similarity. While other pretraining tasks yield an accuracy below 78.7% on this task, our model achieves an accuracy of 82.6% with the same number of training examples, an accuracy of 80.0% with a much smaller training set, and an accuracy of 84.5% when the full corpus of medical question-answer data is used. We also describe a currently live system that uses the trained model to match user questions to COVID-related FAQs.

研究动机与目标

• 解决在缺乏大规模高质量标注数据的情况下，识别语义相似医学问题的挑战。
• 克服通用模型在捕捉细微医学语义方面的局限性，尤其是在微小词汇变化会显著改变语义的情况下。
• 开发一种可扩展的基于迁移学习的解决方案，利用领域内预训练提升低资源医学问题相似度任务的性能。
• 创建并发布MQP数据集，包含1,000对医生标注的医学问题对，以支持未来医学NLP研究。
• 部署一个线上系统，使用训练好的模型将用户问题与现有COVID-19 FAQ进行匹配，提升可靠健康信息的可及性。

提出的方法

• 使用掩码语言建模和下一句预测，在大规模医学问答（QA）对语料上预训练神经网络，以利用领域特定的语言模式。
• 在较小规模、人工精心筛选的医学问题对标注数据集（MQP数据集）上微调预训练模型，该数据集标注了语义相似性。
• 采用双阶段微调策略：首先在领域内QA匹配任务上微调，然后在问题-问题相似度任务上微调，以有效传递医学领域知识。
• 以BERT和XLNet作为基础架构，通过领域特定预训练进行适配，以捕捉临床术语和语义细微差别。
• 利用迁移学习减少对大规模标注数据的依赖，使该方法在标注样本有限的情况下依然可行。
• 使用标准指标（如MQP数据集上的准确率）评估模型性能，并与非领域预训练基线进行比较。

实验结果

研究问题

• RQ1 在低资源医学环境下，基于医学问答对的预训练是否能提升问题相似度模型的性能？
• RQ2 中间预训练任务的选择（如QA与通用NLP任务）如何影响医学问题相似度任务的最终性能？
• RQ3 双阶段微调方法在多大程度上可通过传递领域特定知识缓解医学NLP中的数据稀缺问题？
• RQ4 该模型在面对与标准FAQ在表达方式、拼写和主题分布上不同的真实用户问题时，泛化能力如何？
• RQ5 模型的失败模式是什么？是否可通过弱监督或主动学习系统性地加以改进？

主要发现

• 当使用完整的医学QA语料进行预训练时，双阶段微调方法在MQP数据集上达到84.5%的准确率，显著优于基线模型。
• 即使训练集小得多，模型仍达到80.0%的准确率，表现出强大的数据效率和对数据稀缺的鲁棒性。
• 该模型超越了所有基线，包括在通用领域数据上预训练的模型，在使用相同数量训练样本时达到82.6%的准确率。
• 模型在区分细微语义差异方面表现尤为出色——例如仅在一个关键医学术语上不同的问题，尽管词汇重叠度低。
• 错误分析揭示了系统性的失败模式，表明弱监督和主动学习可进一步提升模型在数据难点区域的性能。
• 该方法支持部署一个线上系统，可实时将用户问题与现有COVID-19 FAQ进行匹配，提升可靠健康信息的可及性。