[论文解读] Interpretable bias mitigation for textual data: Reducing gender bias in patient notes while maintaining classification performance

Joshua R. Minot, Nicholas Cheney+4 more|arXiv (Cornell University)|Mar 10, 2021

Machine Learning in Healthcare参考文献 61被引用 4

一句话总结

本文提出一种可解释的数据增强方法，通过使用基于 BERT 的分类器和分歧度量识别并替换性别化语言，以减少临床记录中的性别偏见。该方法在健康状况分类任务中实现显著的偏见降低，同时性能下降最小，证明了在真实世界电子健康记录（EHR）应用中，去偏可以既有效又实用。

ABSTRACT

Medical systems in general, and patient treatment decisions and outcomes in particular, are affected by bias based on gender and other demographic elements. As language models are increasingly applied to medicine, there is a growing interest in building algorithmic fairness into processes impacting patient care. Much of the work addressing this question has focused on biases encoded in language models -- statistical estimates of the relationships between concepts derived from distant reading of corpora. Building on this work, we investigate how word choices made by healthcare practitioners and language models interact with regards to bias. We identify and remove gendered language from two clinical-note datasets and describe a new debiasing procedure using BERT-based gender classifiers. We show minimal degradation in health condition classification tasks for low- to medium-levels of bias removal via data augmentation. Finally, we compare the bias semantically encoded in the language models with the bias empirically observed in health records. This work outlines an interpretable approach for using data augmentation to identify and reduce the potential for bias in natural language processing pipelines.

研究动机与目标

• 解决电子健康记录（EHR）中可能源自医护人员语言选择和语言模型倾向性的性别偏见问题。
• 开发一种可解释的方法，识别并减少临床记录中的性别化语言，同时不损害分类性能。
• 通过实证比较真实 EHR 数据中的偏见与 BERT 等预训练语言模型中编码的偏见。
• 通过透明、人类可读的去偏技术，使利益相关者能够就去偏与模型性能之间的权衡做出知情决策。
• 探索通过可解释的修剪与替换策略进行数据增强时，去偏对下游临床分类任务的影响。

提出的方法

• 作者使用秩-波动率分歧（RTD）度量来量化男性与女性患者记录之间词频分布的差异，识别性别化语言模式。
• 训练基于 BERT 的性别分类器以检测临床文本中的性别化术语，实现对偏见语言的精准识别。
• 采用数据增强流水线，基于 RTD 和模型预测得出的偏见排名，对性别化 n-gram 进行迭代修剪与替换。
• 该方法允许用户选择不同的“修剪级别”，以控制去偏与性能下降之间的权衡。
• 该方法应用于两个真实世界的临床记录数据集，并在健康状况分类任务上评估性能。
• 该框架通过以通俗中文突出显示特定术语及其偏见排名，支持可解释的决策，使临床医生和从业者能够审查。

实验结果

研究问题

• RQ1 临床记录中的性别化语言在多大程度上导致下游分类模型的偏见？
• RQ2 可解释的数据增强技术是否能在不显著降低分类性能的前提下减少 EHR 中的性别偏见？
• RQ3 真实临床记录中实证观察到的偏见与 BERT 等预训练语言模型中编码的偏见相比如何？
• RQ4 语言修剪与替换的不同程度对模型准确率与公平性有何影响？
• RQ5 临床医生和从业者能否有意义地理解并基于分歧度量与模型分析得出的偏见排名采取行动？

主要发现

• 所提出的方法通过可解释的数据增强显著减少了临床记录中的性别偏见，同时对健康状况分类性能的损害极小。
• 在低至中等程度的去偏水平下，该方法保持了高分类准确率，表明公平性与实用性之间存在有利权衡。
• 秩-波动率分歧度量能有效识别性别化语言模式，即使在非显式性别化的词语中，也能通过比较不同患者群体的词频分布实现。
• 基于 BERT 的分类器成功检测出临床文本中的性别化语言，偏见排名为临床医生和开发者提供了可操作的洞察。
• 本研究发现，临床记录中大部分性别偏见源自与医学相关特征无关的术语，表明可通过不损害临床信号检测的方式减少偏见。
• 该方法支持透明、人类可读的决策，明确指出应修改的术语，有助于实现医疗领域中伦理且可问责的人工智能。