[论文解读] Clinical Document Classification Using Labeled and Unlabeled Data Across Hospitals

Hamed Hassanzadeh, Mahnoosh Kholghi+2 more|PubMed|Dec 3, 2018

COVID-19 diagnosis using AI参考文献 13被引用 7

一句话总结

本研究提出了一种半监督迁移学习框架，利用来自外部医院的未标注放射科报告和预训练模型，以极少的标注数据提升临床文档中的异常检测性能。该方法采用基于卷积神经网络（CNNs）的自训练，仅使用70%的标注数据就在RCH数据集上实现了97.44%的F1分数，显著优于完全监督模型，且标注需求减少超过50%。

ABSTRACT

Reviewing radiology reports in emergency departments is an essential but laborious task. Timely follow-up of patients with abnormal cases in their radiology reports may dramatically affect the patient's outcome, especially if they have been discharged with a different initial diagnosis. Machine learning approaches have been devised to expedite the process and detect the cases that demand instant follow up. However, these approaches require a large amount of labeled data to train reliable predictive models. Preparing such a large dataset, which needs to be manually annotated by health professionals, is costly and time-consuming. This paper investigates a semi-supervised transfer learning framework for radiology report classification across three hospitals. The main goal is to leverage both vastly available clinical unlabeled data and already learned knowledge in order to improve a learning model where limited labeled data is available. Our experimental findings show that (1) convolutional neural networks (CNNs), while being independent of any problem-specific feature engineering, achieve significantly higher effectiveness compared to conventional supervised learning approaches, (2) leveraging unlabeled data in training a CNN-based classifier reduces the dependency on labeled data by more than 50% to reach the same performance of a fully supervised CNN, and (3) transferring the knowledge gained from available labeled data in an external source hospital significantly improves the performance of a semi-supervised CNN model over their fully supervised counterparts in a target hospital.

研究动机与目标

• 通过减少对标注数据的依赖，降低临床NLP中人工标注的高昂成本与工作量，以实现放射科报告分类。
• 通过利用跨医院的丰富未标注临床文本，在低资源环境下提升分类性能。
• 探索从源医院的标注数据中迁移知识，以提升在标注数据有限的目标医院中的模型性能。
• 评估将半监督学习与迁移学习结合用于放射科报告异常检测的有效性。

提出的方法

• 采用卷积神经网络（CNNs）进行端到端学习，无需手工特征工程，从而从原始文本中有效学习表示。
• 将自训练作为半监督学习方法：利用目标医院未标注数据的高置信度预测结果，迭代地重新训练模型。
• 通过迁移学习将源自源医院（如成人或儿童医院）的预训练模型知识整合到目标模型中。
• 采用联合训练策略，结合目标医院的未标注数据与源医院的标注数据，以提升泛化能力与性能。
• 在三个具有不同人口特征（成人、儿童、混合）的澳大利亚医院中实施多医院评估框架，以评估模型的鲁棒性与可迁移性。
• 应用统计显著性检验（p < 0.05）以验证性能改进相对于基线模型的显著性。

实验结果

研究问题

• RQ1 RQ1：在临床文档分类中，哪种传统监督学习或深度学习方法能构建更有效的学习模型？
• RQ2 RQ2：半监督学习在多大程度上有助于应对标注数据稀缺问题，以构建有效的临床文档分类学习模型？
• RQ3 RQ3：如何在SSL框架中利用外部源医院已构建模型的知识，以进一步提升分类任务的性能？

主要发现

• CNN在放射科报告分类中优于传统监督学习方法，无需特定问题的特征工程即可实现更高效率。
• 通过自训练利用未标注数据，可将所需标注数据减少50%以上，而性能仍与完全监督CNN相当，展现出强大的数据效率。
• 半监督迁移学习模型在RCH数据集上达到0.9744的F1分数，在GCH数据集上达到0.9643，仅使用70%的标注数据，显著优于完全监督CNN（F1分别为0.9367和0.9335）。
• 从源医院标注数据进行迁移学习可进一步提升性能，自训练迁移学习模型相较于完全监督和自训练基线模型均表现出统计显著提升（p < 0.05）。
• 即使目标医院完全无标注数据（0%标注数据），迁移学习模型在RCH上仍达到0.9678的F1分数，在GCH上达到0.9548，证明了来自外部源的知识迁移具有重要价值。
• 误分类主要源于语言模糊性，如条件句或否定句（例如，“无骨骼异常”但提及可能存在异常），凸显了临床NLP中的挑战。