[论文解读] Extracting Lifestyle Factors for Alzheimer's Disease from Clinical Notes Using Deep Learning with Weak Supervision

Zitao Shen, Yoonkwon Yi+4 more|arXiv (Cornell University)|Jan 22, 2021

Machine Learning in Healthcare参考文献 19被引用 4

一句话总结

本研究提出一种弱监督深度学习方法，利用预训练的 BERT 模型从非结构化的阿尔茨海默病（AD）临床笔记中提取生活方式因素（如体力活动和过度节食）。通过利用基于规则的标注生成弱监督信号，该方法在体力活动分类上达到 0.96 的 F1 分数，在过度节食分类上达到 1.00 的 F1 分数，证明了在电子健康记录中对 AD 风险因素进行可扩展、高精度自然语言处理分析的可行性。

ABSTRACT

Since no effective therapies exist for Alzheimer's disease (AD), prevention has become more critical through lifestyle factor changes and interventions. Analyzing electronic health records (EHR) of patients with AD can help us better understand lifestyle's effect on AD. However, lifestyle information is typically stored in clinical narratives. Thus, the objective of the study was to demonstrate the feasibility of natural language processing (NLP) models to classify lifestyle factors (e.g., physical activity and excessive diet) from clinical texts. We automatically generated labels for the training data by using a rule-based NLP algorithm. We conducted weak supervision for pre-trained Bidirectional Encoder Representations from Transformers (BERT) models on the weakly labeled training corpus. These models include the BERT base model, PubMedBERT(abstracts + full text), PubMedBERT(only abstracts), Unified Medical Language System (UMLS) BERT, Bio BERT, and Bio-clinical BERT. We performed two case studies: physical activity and excessive diet, in order to validate the effectiveness of BERT models in classifying lifestyle factors for AD. These models were compared on the developed Gold Standard Corpus (GSC) on the two case studies. The PubmedBERT(Abs) model achieved the best performance for physical activity, with its precision, recall, and F-1 scores of 0.96, 0.96, and 0.96, respectively. Regarding classifying excessive diet, the Bio BERT model showed the highest performance with perfect precision, recall, and F-1 scores. The proposed approach leveraging weak supervision could significantly increase the sample size, which is required for training the deep learning models. The study also demonstrates the effectiveness of BERT models for extracting lifestyle factors for Alzheimer's disease from clinical notes.

研究动机与目标

• 解决从电子健康记录（EHRs）中的非结构化临床笔记中提取阿尔茨海默病（AD）研究相关生活方式因素的挑战。
• 通过基于规则的标注实现弱监督，降低创建人工标注数据集的劳动密集型成本。
• 评估多种预训练 BERT 模型在分类与 AD 风险相关生活方式因素方面的性能。
• 实现实时 EHR 数据中生活方式因素的大规模、低成本分析及其与 AD 的关联性研究。
• 为未来在 AD 中对生活方式干预对认知结局的因果建模提供支持。

提出的方法

• 使用基于规则的 NLP 算法为训练数据生成弱标签，避免人工标注。
• 微调六种 BERT 模型：BERT base、PubMedBERT（摘要 + 全文）、PubMedBERT（仅摘要）、UMLS BERT、Bio-BERT 和 Bio-clinical BERT。
• 应用弱监督方法，在源自临床笔记的弱标签语料库上训练 BERT 模型。
• 在黄金标准语料库（GSC）上评估模型性能，针对两个案例研究：体力活动和过度节食。
• 使用精确率、召回率和 F1 分数作为评估指标，比较模型的有效性。
• 通过分析误分类模式和模型特异性局限性，解决类别不平衡和模型敏感性问题。

实验结果

研究问题

• RQ1 弱监督能否在保持高分类性能的同时显著减少对人工标注的依赖，以从临床笔记中提取生活方式因素？
• RQ2 在从非结构化 EHR 文本中提取体力活动和过度节食信息方面，哪种预训练 BERT 模型表现最佳？
• RQ3 预训练语料库的差异（如 PubMed 与临床文本）如何影响模型在生活方式因素分类任务上的表现？
• RQ4 模型误分类在多大程度上源于矛盾表述（如 'physically active' 与 'without aerobic exercise'）或某些 BERT 变体在领域特定知识上的缺乏？
• RQ5 该方法能否扩展至同时提取多个生活方式因素，以实现 AD 风险的协同效应分析？

主要发现

• PubMedBERT(Abs) 模型在体力活动分类中表现最佳，F1 分数为 0.96，精确率为 0.96，召回率为 0.96。
• Bio-BERT 模型在过度节食分类中表现完美，精确率、召回率和 F1 分数均为 1.00。
• 模型性能显著受预训练语料库和数据量影响，其中样本量较小的过度节食数据集（n=886）在不同模型间表现出更大的方差。
• 误分类主要源于矛盾表述（如 'physically active' 与 'without aerobic exercise'）以及领域特定 BERT 对 'none' 或 'normal' 情况的处理不佳。
• 本研究证明，弱监督可实现在无需人工标注情况下的可扩展模型训练，显著增加可用训练数据量。
• 尽管整体性能优异，但模型对数据量和类别不平衡的敏感性凸显了未来研究中需要更大、更平衡的数据集。