[论文解读] Downstream Fairness Caveats with Synthetic Healthcare Data

Karan Bhanot, Ioana Baldini+3 more|arXiv (Cornell University)|Mar 9, 2022

Health Systems, Economic Evaluations, Quality of Life被引用 5

一句话总结

本文评估了通过 HealthGAN 生成的合成医疗数据在机器学习模型中性别与种族偏见方面的公平性与实用性。研究发现，合成数据在实用性方面通常表现不如真实数据，且公平性表现存在不可预测的偏差变化，公平性缓解技术的效果也不一致，表明合成数据并非天然无偏，需在实际应用前进行显式公平性评估。

ABSTRACT

This paper evaluates synthetically generated healthcare data for biases and investigates the effect of fairness mitigation techniques on utility-fairness. Privacy laws limit access to health data such as Electronic Medical Records (EMRs) to preserve patient privacy. Albeit essential, these laws hinder research reproducibility. Synthetic data is a viable solution that can enable access to data similar to real healthcare data without privacy risks. Healthcare datasets may have biases in which certain protected groups might experience worse outcomes than others. With the real data having biases, the fairness of synthetically generated health data comes into question. In this paper, we evaluate the fairness of models generated on two healthcare datasets for gender and race biases. We generate synthetic versions of the dataset using a Generative Adversarial Network called HealthGAN, and compare the real and synthetic model's balanced accuracy and fairness scores. We find that synthetic data has different fairness properties compared to real data and fairness mitigation techniques perform differently, highlighting that synthetic data is not bias free.

研究动机与目标

• 评估合成医疗数据在机器学习模型中是否保留了真实数据的公平性与实用性。
• 调查公平性缓解技术在真实数据与合成数据上的表现是否相似。
• 识别合成医疗数据集中的实用性-公平性权衡。
• 强调在医疗应用中未经显式公平性评估即部署合成数据的风险。

提出的方法

• 使用基于 GAN 的 HealthGAN 模型，在两个真实数据集上生成合成医疗数据：心血管数据集（用于性别偏见分析）和 MIMIC-III 数据集（用于种族偏见分析）。
• 在真实数据与合成数据上分别训练随机森林模型，以评估平衡准确率与公平性指标。
• 使用群体公平性指标衡量公平性：平等机会差异、平均机会差异与平等机会。
• 应用三种公平性缓解技术——重加权、对抗去偏（HPS）与缩减法，以评估其在真实与合成数据上的影响。
• 通过平衡准确率与公平性得分，比较真实数据与合成数据上的模型性能。
• 进行统计显著性检验，以评估公平性缓解在不同数据类型上的有效性。

实验结果

研究问题

• RQ1 当用于训练机器学习模型时，合成医疗数据在公平性与实用性方面是否与真实数据相当？
• RQ2 公平性缓解技术在合成数据上的公平性改善效果是否与在真实数据上相当？
• RQ3 真实与合成医疗数据集之间的实用性-公平性权衡有何不同？
• RQ4 在合成数据上应用公平性缓解是否能可靠地降低偏见，还是可能引发意外后果？

主要发现

• 合成数据在性别与种族偏见评估中均表现出低于真实数据的平衡准确率，表明其在实用性方面存在系统性下降。
• 在心血管数据集的性别偏见分析中，合成数据表现出更差的公平性表现，且对女性的偏见更严重，而这种偏见在真实数据中并不存在。
• 在 MIMIC-III 数据集的种族偏见分析中，合成数据在某些情况下表现出公平性改善，但结果不一致，且无法可靠优于真实数据。
• 公平性缓解技术在真实与合成数据上均提升了公平性，但其改善幅度与统计显著性在合成数据上通常更低。
• 公平性缓解的应用在两种数据类型上均导致平衡准确率下降，证实了实用性-公平性权衡的存在，且该权衡在合成数据中更为显著。
• 部分合成数据上的公平性缓解改善未达到统计显著性，表明其公平性提升不可靠，凸显了在缺乏严格公平性验证的情况下部署合成数据的风险。