[论文解读] Echoes of Biases: How Stigmatizing Language Affects AI Performance

Yizhi Liu, Weiguang Wang+2 more|arXiv (Cornell University)|May 17, 2023

Machine Learning in Healthcare被引用 4

一句话总结

本研究调查了电子健康记录（EHRs）中污名化语言（SL）如何降低人工智能（AI）在死亡率预测中的性能，尤其对非裔患者影响显著。通过基于Transformer的模型和可解释人工智能（XAI）技术，研究识别出在协作网络中处于核心位置的临床医生是导致种族差异的关键因素，并表明从这些临床医生处移除SL，比从整个语料库中移除所有SL更能有效缓解偏见。

ABSTRACT

Electronic health records (EHRs) serve as an essential data source for the envisioned artificial intelligence (AI)-driven transformation in healthcare. However, clinician biases reflected in EHR notes can lead to AI models inheriting and amplifying these biases, perpetuating health disparities. This study investigates the impact of stigmatizing language (SL) in EHR notes on mortality prediction using a Transformer-based deep learning model and explainable AI (XAI) techniques. Our findings demonstrate that SL written by clinicians adversely affects AI performance, particularly so for black patients, highlighting SL as a source of racial disparity in AI model development. To explore an operationally efficient way to mitigate SL's impact, we investigate patterns in the generation of SL through a clinicians' collaborative network, identifying central clinicians as having a stronger impact on racial disparity in the AI model. We find that removing SL written by central clinicians is a more efficient bias reduction strategy than eliminating all SL in the entire corpus of data. This study provides actionable insights for responsible AI development and contributes to understanding clinician behavior and EHR note writing in healthcare.

研究动机与目标

• 调查电子健康记录（EHR）笔记中污名化语言（SL）对人工智能驱动的死亡率预测性能的影响。
• 识别SL如何导致人工智能模型结果中的种族差异。
• 探索通过分析临床医生在SL生成中的影响力，实现操作上高效的偏见缓解策略。
• 评估针对核心临床医生进行SL缓解相较于全局SL移除的有效性。

提出的方法

• 使用基于Transformer的深度学习模型，在EHR笔记上进行训练，以预测住院期间死亡率。
• 应用可解释人工智能（XAI）技术，解释模型预测结果并评估特征重要性。
• 构建临床医生协作网络，基于SL贡献模式识别核心临床医生。
• 系统性地从训练数据中移除SL，先进行全局移除，再选择性地从核心临床医生处移除，以比较缓解效率。
• 使用AUC-ROC等指标评估模型性能，并按种族进行子组分析，以评估差异性。
• 使用网络中心性度量（如度数、接近性）量化临床医生在SL传播中的影响力。

实验结果

研究问题

• RQ1 EHR笔记中的污名化语言在多大程度上影响人工智能模型在预测患者死亡率方面的性能？
• RQ2 污名化语言在多大程度上导致了人工智能驱动的死亡率预测中的种族差异？
• RQ3 哪些临床医生在生成污名化语言方面最具影响力，其角色如何影响模型偏见？
• RQ4 与从整个数据集中移除所有SL相比，从核心临床医生处移除SL是否更有效地实现偏见缓解？

主要发现

• EHR笔记中的污名化语言显著降低了人工智能模型的性能，尤其对非裔患者影响明显，该子群体的AUC-ROC显著下降。
• 核心临床医生——即在网络中具有高中心性者——产生了不成比例的污名化语言，并与模型预测中种族差异的加剧密切相关。
• 与从整个数据集中移除所有SL相比，从核心临床医生处移除SL能更有效地减少种族差异。
• 当从核心临床医生处移除SL后，模型性能显著提升，表明其在偏见传播中具有显著的放大作用。
• 可解释人工智能分析确认，SL特征在非裔患者预测中的权重被不成比例地放大，从而强化了现有差异。
• 本研究证明，针对核心临床医生实施干预，比广泛的数据清洗，能提供更高效且可扩展的偏见缓解策略。