[论文解读] Assessing Fairness in the Presence of Missing Data

Yiliang Zhang, Qi Long|PubMed|Dec 7, 2021

Privacy-Preserving Technologies in Data参考文献 6被引用 11

一句话总结

本文提出一种重加权方法，用于在数据缺失时通过完整案例训练机器学习模型来估计公平性，表明适当的加权可减少公平性估计中的偏差。该研究首次为缺失数据下的公平性估计误差提供了理论边界，证明估计偏差取决于完整案例与完整数据分布之间的差异以及倾向得分权重的准确性。

ABSTRACT

Missing data are prevalent and present daunting challenges in real data analysis. While there is a growing body of literature on fairness in analysis of fully observed data, there has been little theoretical work on investigating fairness in analysis of incomplete data. In practice, a popular analytical approach for dealing with missing data is to use only the set of complete cases, i.e., observations with all features fully observed to train a prediction algorithm. However, depending on the missing data mechanism, the distribution of complete cases and the distribution of the complete data may be substantially different. When the goal is to develop a fair algorithm in the complete data domain where there are no missing values, an algorithm that is fair in the complete case domain may show disproportionate bias towards some marginalized groups in the complete data domain. To fill this significant gap, we study the problem of estimating fairness in the complete data domain for an arbitrary model evaluated merely using complete cases. We provide upper and lower bounds on the fairness estimation error and conduct numerical experiments to assess our theoretical results. Our work provides the first known theoretical results on fairness guarantee in analysis of incomplete data.

研究动机与目标

• 为解决在数据包含缺失值时公平性估计理论理解的关键空白。
• 研究缺失数据机制（MCAR、MAR、MNAR）如何影响完整案例分析中的公平性估计。
• 开发一种重加权方法，以纠正完整案例与目标完整数据总体之间存在领域偏移时导致的公平性估计偏差。
• 提供公平性估计误差的理论边界，量化样本量和加权准确度的影响。
• 在真实世界数据集（COMPAS和ADNI）上，针对不同缺失数据机制，对方法进行实证验证。

提出的方法

• 提出一种重加权技术，其中完整案例根据估计的倾向得分分配权重，以纠正完整案例分析中的选择偏差。
• 推导公平性估计误差的上下界，将其分解为与样本量、分布间总变差距离以及加权准确度相关的项。
• 使用完整案例与完整数据分布之间的总变差距离作为领域偏移的关键度量。
• 在分类和回归任务中应用该方法，以准确率差异作为公平性度量。
• 在MAR和MNAR设定下，使用逻辑回归及其他模型估计缺失机制（倾向得分）。
• 通过模拟和在COMPAS与ADNI数据集上的真实数据实验，验证理论结果，涵盖MCAR、MAR和MNAR机制。

实验结果

研究问题

• RQ1 当仅使用完整案例进行模型训练时，缺失数据如何影响公平性估计？
• RQ2 公平性估计误差与完整案例和完整数据分布之间差异之间的理论关系是什么？
• RQ3 基于估计倾向得分的重加权是否能减少不完整数据设置下的公平性估计偏差？
• RQ4 不同的缺失数据机制（MCAR、MAR、MNAR）如何影响完整案例分析下公平性估计的性能？
• RQ5 敏感群体之间的样本不平衡在不完整数据中在多大程度上加剧公平性估计偏差？

主要发现

• 在MCAR下，所有加权策略（包括无加权估计）均产生相近且有效的公平性估计，符合预期。
• 在MAR下，真实倾向得分权重的偏差最小，且基于逻辑回归的权重（模型正确设定）表现几乎相当。
• 在MNAR下，所有工作模型均设定错误，所有加权策略的偏差均大于真实权重，凸显了模型设定错误的挑战。
• 敏感群体之间的样本不平衡显著增加了公平性估计偏差，尤其是在不可忽略缺失机制下。
• 公平性估计误差的理论边界得到实证验证，表明偏差随领域偏移增大和加权准确度降低而上升。
• 结果表明，若未正确考虑缺失数据机制，即使模型在完整案例上进行训练，使用完整案例进行公平性估计也可能存在显著偏差。