[论文解读] Large Language Models to Identify Social Determinants of Health in Electronic Health Records

Marco Guevara, Shan Chen+12 more|arXiv (Cornell University)|Aug 11, 2023

Chronic Disease Management Strategies被引用 7

一句话总结

本研究评估了微调后的大型语言模型（LLMs）从自由文本电子健康记录（EHRs）中提取健康的社会决定因素（SDoH）的能力，表明合成数据增强可提升性能，尤其在小型模型中表现更佳，同时减少算法偏见。最佳模型在SDoH识别任务中实现了0.71的宏平均F1分数，优于零样本和少样本GPT模型，并捕获了93.8%具有不利SDoH的患者，而ICD-10编码仅能捕获2.0%。

ABSTRACT

Social determinants of health (SDoH) have an important impact on patient outcomes but are incompletely collected from the electronic health records (EHR). This study researched the ability of large language models to extract SDoH from free text in EHRs, where they are most commonly documented, and explored the role of synthetic clinical text for improving the extraction of these scarcely documented, yet extremely valuable, clinical data. 800 patient notes were annotated for SDoH categories, and several transformer-based models were evaluated. The study also experimented with synthetic data generation and assessed for algorithmic bias. Our best-performing models were fine-tuned Flan-T5 XL (macro-F1 0.71) for any SDoH, and Flan-T5 XXL (macro-F1 0.70). The benefit of augmenting fine-tuning with synthetic data varied across model architecture and size, with smaller Flan-T5 models (base and large) showing the greatest improvements in performance (delta F1 +0.12 to +0.23). Model performance was similar on the in-hospital system dataset but worse on the MIMIC-III dataset. Our best-performing fine-tuned models outperformed zero- and few-shot performance of ChatGPT-family models for both tasks. These fine-tuned models were less likely than ChatGPT to change their prediction when race/ethnicity and gender descriptors were added to the text, suggesting less algorithmic bias (p<0.05). At the patient-level, our models identified 93.8% of patients with adverse SDoH, while ICD-10 codes captured 2.0%. Our method can effectively extracted SDoH information from clinic notes, performing better compare to GPT zero- and few-shot settings. These models could enhance real-world evidence on SDoH and aid in identifying patients needing social support.

研究动机与目标

• 为解决电子健康记录（EHRs）中社会决定因素健康（SDoH）记录不足的问题，该问题显著影响患者预后。
• 评估大型语言模型（LLMs）从非结构化临床笔记中提取SDoH的有效性。
• 探究在低资源环境下，合成临床文本是否能提升SDoH提取性能。
• 评估LLMs在预测SDoH时的算法偏见，特别是针对种族和性别描述符的影响。
• 比较微调后的LLMs与零样本和少样本GPT模型在SDoH检测准确率和鲁棒性方面的表现。

提出的方法

• 对800份患者笔记进行标注，涵盖10类SDoH，以建立用于评估的金标准数据集。
• 在标注的EHR数据上，对多种基于Transformer的LLMs（包括Flan-T5 base、large、XL和XXL变体）进行微调。
• 通过提示工程和LLMs生成合成临床文本，以扩充训练数据并提升模型泛化能力。
• 使用宏平均F1分数在院内EHR数据和MIMIC-III数据集上评估模型性能。
• 通过在输入提示中加入种族/民族和性别描述符，并测量预测一致性，评估算法偏见。
• 对比微调模型与零样本和少样本推理的GPT系列模型，评估性能差异。

实验结果

研究问题

• RQ1 微调后的大型语言模型能否有效从非结构化EHR笔记中提取社会决定因素健康（SDoH）？
• RQ2 合成数据生成是否能提升LLMs在识别SDoH方面的性能，尤其是在低资源环境中？
• RQ3 在LLMs中引入人口统计描述符（如种族、性别）如何影响预测稳定性和算法偏见？
• RQ4 微调后的LLMs与零样本和少样本GPT模型在SDoH检测性能上表现如何？
• RQ5 LLMs在识别具有不利SDoH的患者方面，其识别范围与传统ICD-10编码相比有多大程度的提升？

主要发现

• 表现最佳的模型——微调后的Flan-T5 XL——在任意SDoH检测任务中实现了0.71的宏平均F1分数。
• 较小的Flan-T5模型（base和large）在合成数据增强后性能提升最为显著，F1分数提高了+0.12至+0.23。
• 与ChatGPT相比，微调模型在添加种族/民族和性别描述符后更少改变预测结果，表明其算法偏见更低（p < 0.05）。
• 最佳微调模型在SDoH提取和预测稳定性方面均优于零样本和少样本GPT系列模型。
• 在患者层面，最佳模型捕获了93.8%具有不利SDoH的患者，而ICD-10编码仅能捕获2.0%。
• 模型在院内EHR数据上表现一致，但在MIMIC-III数据集上表现较低，表明存在领域偏移挑战。