[论文解读] SODA: A Natural Language Processing Package to Extract Social Determinants of Health for Cancer Studies

Zehao Yu, Xi Yang+13 more|arXiv (Cornell University)|Dec 6, 2022

Food Security and Health in Diverse Populations参考文献 43被引用 6

一句话总结

SODA 是一个开源的 NLP 工具包，使用微调后的 BERT 模型从癌症患者的临床记录中提取 19 类社会健康决定因素（SDoH）。该工具在 SDoH 概念提取任务中取得了 92.16% 的严格 F1 分数，并在微调后展现出向阿片类药物使用人群的泛化能力，且在新标注数据上性能有所提升。

ABSTRACT

Objective: We aim to develop an open-source natural language processing (NLP) package, SODA (i.e., SOcial DeterminAnts), with pre-trained transformer models to extract social determinants of health (SDoH) for cancer patients, examine the generalizability of SODA to a new disease domain (i.e., opioid use), and evaluate the extraction rate of SDoH using cancer populations. Methods: We identified SDoH categories and attributes and developed an SDoH corpus using clinical notes from a general cancer cohort. We compared four transformer-based NLP models to extract SDoH, examined the generalizability of NLP models to a cohort of patients prescribed with opioids, and explored customization strategies to improve performance. We applied the best NLP model to extract 19 categories of SDoH from the breast (n=7,971), lung (n=11,804), and colorectal cancer (n=6,240) cohorts. Results and Conclusion: We developed a corpus of 629 cancer patients notes with annotations of 13,193 SDoH concepts/attributes from 19 categories of SDoH. The Bidirectional Encoder Representations from Transformers (BERT) model achieved the best strict/lenient F1 scores of 0.9216 and 0.9441 for SDoH concept extraction, 0.9617 and 0.9626 for linking attributes to SDoH concepts. Fine-tuning the NLP models using new annotations from opioid use patients improved the strict/lenient F1 scores from 0.8172/0.8502 to 0.8312/0.8679. The extraction rates among 19 categories of SDoH varied greatly, where 10 SDoH could be extracted from >70% of cancer patients, but 9 SDoH had a low extraction rate (<70% of cancer patients). The SODA package with pre-trained transformer models is publicly available at https://github.com/uf-hobiinformatics-lab/SDoH_SODA.

研究动机与目标

• 开发一个开源的 NLP 工具，用于从癌症患者临床记录中提取社会健康决定因素（SDoH）。
• 评估 SODA 模型在新疾病领域（如阿片类药物使用障碍）的泛化能力。
• 评估在乳腺癌、肺癌和结直肠癌队列中，19 个不同类别的 SDoH 提取性能。
• 探索通过微调实现定制化策略，以提升模型在新临床人群中的性能。
• 发布一个公开可用的 NLP 工具包，包含预训练的 Transformer 模型，以支持更广泛的研究应用。

提出的方法

• 构建了一个经筛选的 SDoH 语料库，包含 629 例癌症患者记录，涵盖 19 个类别的 13,193 个标注的 SDoH 概念。
• 评估了四种基于 Transformer 的 NLP 模型，根据概念和属性提取的 F1 分数，选择 BERT 作为最优模型。
• 使用阿片类药物使用患者队列的新标注数据对 BERT 模型进行微调，以评估其可迁移性。
• 实施严格和宽松的评估指标，以评估 SDoH 概念和属性提取的精确率、召回率和 F1 分数。
• 将性能最佳的模型应用于三个主要癌症队列（乳腺癌 n=7,971，肺癌 n=11,804，结直肠癌 n=6,240）中提取 SDoH。
• 通过公共代码仓库发布 SODA 工具包及预训练模型，供社区使用。

实验结果

研究问题

• RQ1 基于 Transformer 的 NLP 模型在从癌症临床记录中提取社会健康决定因素方面的表现如何？
• RQ2 SODA 模型在新临床领域（如阿片类药物使用障碍）中的泛化能力如何？
• RQ3 在主要癌症类型中，哪些 SDoH 类别被最频繁和最少频率提取？
• RQ4 在新临床标注数据上对模型进行微调，能否提升其在先前未见人群中的性能？
• RQ5 定制化策略对 SDoH 提取的准确性和鲁棒性有何影响？

主要发现

• BERT 模型在 SDoH 概念提取任务中表现最佳，严格 F1 得分为 0.9216，宽松 F1 得分为 0.9441。
• 在将属性链接到 SDoH 概念方面，BERT 模型的严格和宽松 F1 分数分别为 0.9617 和 0.9626。
• 在阿片类药物使用队列的标注数据上进行微调后，模型的严格和宽松 F1 分数从 0.8172/0.8502 提升至 0.8312/0.8679。
• 10 个 SDoH 类别在超过 70% 的癌症患者中可被提取，而 9 个类别的提取率低于 70%。
• SODA 工具包连同预训练模型已公开发布，支持临床文本中 SDoH 提取的可重现性和可扩展性。