[论文解读] A survey on measuring indirect discrimination in machine learning

Indrė Žliobaitė|arXiv (Cornell University)|Oct 31, 2015

Names, Identity, and Discrimination Research参考文献 19被引用 89

一句话总结

本综述系统性地回顾并分类了用于检测机器学习中间接歧视的歧视度量方法，计算评估其属性，并推荐使用基于差异的度量方法（如归一化差异）而非基于比率的度量方法，因其具有更高的可解释性与可靠性。该研究为预测建模中的公平性评估提供了一个统一框架，强调通过合法特征进行分层，以确保组间比较的公平性。

ABSTRACT

Nowadays, many decisions are made using predictive models built on historical data.Predictive models may systematically discriminate groups of people even if the computing process is fair and well-intentioned. Discrimination-aware data mining studies how to make predictive models free from discrimination, when historical data, on which they are built, may be biased, incomplete, or even contain past discriminatory decisions. Discrimination refers to disadvantageous treatment of a person based on belonging to a category rather than on individual merit. In this survey we review and organize various discrimination measures that have been used for measuring discrimination in data, as well as in evaluating performance of discrimination-aware predictive models. We also discuss related measures from other disciplines, which have not been used for measuring discrimination, but potentially could be suitable for this purpose. We computationally analyze properties of selected measures. We also review and discuss measuring procedures, and present recommendations for practitioners. The primary target audience is data mining, machine learning, pattern recognition, statistical modeling researchers developing new methods for non-discriminatory predictive modeling. In addition, practitioners and policy makers would use the survey for diagnosing potential discrimination by predictive models.

研究动机与目标

• 提供对用于检测机器学习中间接歧视的歧视度量方法的全面、系统性综述。
• 通过计算分析评估核心歧视度量的属性与可靠性。
• 识别并推荐对从业者和研究人员而言最具可解释性与鲁棒性的度量方法。
• 通过将多样化的方法统一为一个连贯框架，解决公平性评估中缺乏共识的问题。
• 为从业者提供诊断潜在歧视的指导，为政策制定者提供非歧视性人工智能标准的制定依据。

提出的方法

• 根据其数学与概念基础，将歧视度量分类为统计型、绝对型、条件型和结构性类型。
• 通过合成分类任务分析核心度量（如均值差异、归一化差异、AUC、影响比率），以评估其稳健性与可解释性。
• 从对数据不平衡的敏感性与可解释性角度，比较基于比率的度量（如几率比、影响比率）与基于差异的度量（如均值差异、归一化差异）。
• 提出按合法特征（如资质）进行分层的原则，以隔离不公平对待与合理差异。
• 提出倾向性得分匹配及其他条件度量方法，以实现在同质子组内更公平的比较。
• 推荐将归一化差异作为主要度量方法，避免使用基于比率的度量方法，因其存在较高的可解释性风险。

实验结果

研究问题

• RQ1 在机器学习模型中检测间接歧视时，哪些歧视度量方法最为可靠且可解释？
• RQ2 在不同数据分布下，基于比率的度量与基于差异的度量在稳健性与可解释性方面如何比较？
• RQ3 按合法特征（如教育、经验）对人群进行分层，在确保模型公平性评估的公平性方面起到何种作用？
• RQ4 如何将相关领域（如特征选择）中的现有度量方法适配用于机器学习中的歧视度量？
• RQ5 当前公平性评估实践的局限性是什么？如何通过方法论改进加以解决？

主要发现

• 基于比率的度量（如几率比、影响比率）难以理解且易被误解，尤其在数据不平衡时，因此不推荐使用。
• 基于差异的度量（如归一化差异、未归一化均值差异）更具可解释性与稳健性，推荐作为主要的公平性评估指标。
• 仅依靠核心度量不足以进行公平性评估，因其未考虑组间合法差异（如资质或经验）。
• 在应用公平性度量前，必须按合法特征（如教育、经验）对人群进行分层，以避免在歧视检测中产生假阳性结果。
• 条件度量（如未解释差异、倾向性得分匹配）通过实现在同质子组内的比较，可提升公平性评估的准确性。
• 本综述通过统一多样化的公平性度量并突出多类别、多目标及多受保护特征场景下的开放挑战，为未来研究奠定了基础。