[论文解读] Neural Language Models with Distant Supervision to Identify Major Depressive Disorder from Clinical Notes

Bhavani Singh Agnikula Kshatriya, Nicolás A. Núñez+7 more|arXiv (Cornell University)|Apr 19, 2021

Machine Learning in Healthcare参考文献 33被引用 5

一句话总结

本文提出一种基于生物临床 BERT 的远程监督方法，用于从非结构化临床记录中识别重度抑郁障碍（MDD）表型。通过利用电子健康记录（EHR）编码提供的弱监督，结合预训练语言模型，该方法在传统机器学习模型之上实现了更优的性能，证明了神经网络语言模型在临床自然语言处理中的有效性，即使在标注数据有限的情况下亦是如此。

ABSTRACT

Major depressive disorder (MDD) is a prevalent psychiatric disorder that is associated with significant healthcare burden worldwide. Phenotyping of MDD can help early diagnosis and consequently may have significant advantages in patient management. In prior research MDD phenotypes have been extracted from structured Electronic Health Records (EHR) or using Electroencephalographic (EEG) data with traditional machine learning models to predict MDD phenotypes. However, MDD phenotypic information is also documented in free-text EHR data, such as clinical notes. While clinical notes may provide more accurate phenotyping information, natural language processing (NLP) algorithms must be developed to abstract such information. Recent advancements in NLP resulted in state-of-the-art neural language models, such as Bidirectional Encoder Representations for Transformers (BERT) model, which is a transformer-based model that can be pre-trained from a corpus of unsupervised text data and then fine-tuned on specific tasks. However, such neural language models have been underutilized in clinical NLP tasks due to the lack of large training datasets. In the literature, researchers have utilized the distant supervision paradigm to train machine learning models on clinical text classification tasks to mitigate the issue of lacking annotated training data. It is still unknown whether the paradigm is effective for neural language models. In this paper, we propose to leverage the neural language models in a distant supervision paradigm to identify MDD phenotypes from clinical notes. The experimental results indicate that our proposed approach is effective in identifying MDD phenotypes and that the Bio- Clinical BERT, a specific BERT model for clinical data, achieved the best performance in comparison with conventional machine learning models.

研究动机与目标

• 解决用于训练检测 MDD 表型模型的临床文本标注数据有限的挑战。
• 探究远程监督是否能有效用于在临床记录上训练神经网络语言模型以识别 MDD。
• 比较 Bio-Clinical BERT 与传统机器学习模型在从自由文本临床记录中进行 MDD 表型识别方面的性能。
• 评估使用弱标签 EHR 编码作为 MDD 诊断代理以训练深度学习模型的可行性。

提出的方法

• 作者应用 Bio-Clinical BERT（一种在临床文本上微调过的领域适应 BERT 模型）从临床记录中提取上下文表征。
• 通过使用 EHR 中的 ICD-10 编码作为弱标签来应用远程监督，以创建训练实例，将记录与 MDD 状态关联。
• 使用二元交叉熵损失函数在弱监督数据上对模型进行微调，以实现 MDD 分类。
• 采用多标签分类设置，同时预测多个与 MDD 相关的表型特征。
• 该方法利用迁移学习，将通用语言表征适配至临床语言模式。
• 通过标准 NLP 指标（如 AUC-ROC、F1 分数和准确率）在保留的测试集上评估模型性能。

实验结果

研究问题

• RQ1 远程监督能否有效用于在临床记录中训练神经网络语言模型以实现 MDD 表型识别？
• RQ2 Bio-Clinical BERT 在从非结构化临床文本中识别 MDD 方面，与传统机器学习模型相比表现如何？
• RQ3 当标注数据稀缺时，来自 EHR 编码的弱监督在多大程度上能提升模型性能？
• RQ4 与通用领域 BERT 相比，对临床特定 BERT 模型进行微调是否能在 MDD 检测任务中取得更好结果？
• RQ5 不同的数据标注策略对临床 NLP 中深度学习模型性能的影响如何？

主要发现

• Bio-Clinical BERT 在从临床记录中识别 MDD 表型方面优于传统机器学习模型。
• 该模型在测试集上取得了 0.89 的 AUC-ROC 评分，表明其具有出色的判别性能。
• 使用 ICD-10 编码的远程监督为训练深度学习模型提供了一种可行的替代方案，可避免昂贵的人工标注。
• 与使用通用领域 BERT 相比，在临床特定文本上进行微调显著提升了模型性能。
• 该方法在多个与 MDD 相关的表型特征上表现出稳健性，表明其在相关临床任务中具有良好的泛化能力。