[论文解读] AI Fairness via Domain Adaptation

Neil Joshi, Philippe Burlina|arXiv (Cornell University)|Mar 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 29被引用 9

一句话总结

本文提出一种基于生成建模的领域自适应方法，通过合成代表性不足的人群数据，提升人工智能在AMD检测中的公平性。通过在基于GAN的框架中对非洲裔美国人的AMD患者进行潜在空间操作，增强其训练数据，该方法减少了性能差异，使非洲裔美国人的准确率达到79.87%，而高加索人为85.71%，缩小了公平性差距，同时提升了模型整体鲁棒性。

ABSTRACT

While deep learning (DL) approaches are reaching human-level performance for many tasks, including for diagnostics AI, the focus is now on challenges possibly affecting DL deployment, including AI privacy, domain generalization, and fairness. This last challenge is addressed in this study. Here we look at a novel method for ensuring AI fairness with respect to protected or sensitive factors. This method uses domain adaptation via training set enhancement to tackle bias-causing training data imbalance. More specifically, it uses generative models that allow the generation of more synthetic training samples for underrepresented populations. This paper applies this method to the use case of detection of age related macular degeneration (AMD). Our experiments show that starting with an originally biased AMD diagnostics model the method has the ability to improve fairness.

研究动机与目标

• 解决医疗人工智能中的公平性挑战，特别是由训练数据不平衡引发的偏见。
• 关注训练数据集中非洲裔美国AMD患者代表性不足的问题。
• 开发一种方法，在不修改预测头或依赖对抗训练的前提下提升模型公平性。
• 证明通过生成建模进行数据增强可实现领域自适应并减少人口统计学上的性能差距。
• 在真实世界的眼底图像数据集（AREDS）上验证该方法在AMD诊断中的有效性。

提出的方法

• 使用基于StyleGAN的条件生成模型，为代表性不足的人群（特别是患有AMD的非洲裔美国人）合成逼真的眼底图像。
• 通过潜在空间操作控制生成过程中的受保护属性（如种族），实现在人口统计因素上的细粒度控制。
• 通过添加代表性不足群体的合成图像来增强原始训练数据集，特别是增加非洲裔美国AMD患者的样本数量。
• 在增强后的数据集上重新训练AMD诊断模型，以提升不同人口群体间的公平性与泛化能力。
• 在生成器中应用截断和风格向量控制，以在图像保真度与多样性之间取得平衡。
• 使用标准深度学习分类器（如ResNet或类似模型）进行AMD分类，训练数据包含真实与合成图像。

实验结果

研究问题

• RQ1 通过领域自适应的生成式数据增强，能否减少基于深度学习的AMD检测系统中的人口统计偏见？
• RQ2 为代表性不足群体生成合成数据，是否能在不降低整体模型性能的前提下提升公平性？
• RQ3 潜在空间操作在多大程度上能够实现受控的、属性特定的数据合成，以缓解公平性问题？
• RQ4 在数据增强后，不同人口群体（如高加索人与非洲裔美国人）之间的性能差距如何变化？
• RQ5 该方法能否实现领域自适应，在提升公平性的同时保持或增强诊断准确性？

主要发现

• 基线模型表现出显著偏见，测试集中高加索人的准确率为80.52%，而非洲裔美国人为62.99%。
• 在使用生成建模进行数据增强后，准确率分别提升至高加索人85.71%、非洲裔美国人79.87%，公平性差距显著缩小。
• 模型的ROC AUC从基线的0.8049提升至增强后的0.9169，表明整体诊断性能得到改善。
• 在包含614张非洲裔美国AMD眼底图像的保留测试集中，准确率从42.51%提升至54.23%，表明对代表性不足群体的泛化能力增强。
• 增强后，不同群体间性能差异的95%置信区间出现重叠，表明公平性差距不再具有统计显著性。
• 该方法成功通过数据增强实现了领域自适应，在无需对抗训练或从零开始重新训练模型的前提下提升了公平性。