[论文解读] Fairness-aware machine learning: a perspective

Indrė Žliobaitė|arXiv (Cornell University)|Aug 2, 2017

Ethics and Social Impacts of AI参考文献 22被引用 15

一句话总结

本文通过对机器学习流程的严格分析，系统性地识别算法歧视的根源，提出了一种理论驱动的公平感知机器学习方法。它引入统一的优化准则，在准确率与公平性之间实现平衡，从而实现主动预防而非依赖启发式修复。

ABSTRACT

Algorithms learned from data are increasingly used for deciding many aspects in our life: from movies we see, to prices we pay, or medicine we get. Yet there is growing evidence that decision making by inappropriately trained algorithms may unintentionally discriminate people. For example, in automated matching of candidate CVs with job descriptions, algorithms may capture and propagate ethnicity related biases. Several repairs for selected algorithms have already been proposed, but the underlying mechanisms how such discrimination happens from the computational perspective are not yet scientifically understood. We need to develop theoretical understanding how algorithms may become discriminatory, and establish fundamental machine learning principles for prevention. We need to analyze machine learning process as a whole to systematically explain the roots of discrimination occurrence, which will allow to devise global machine learning optimization criteria for guaranteed prevention, as opposed to pushing empirical constraints into existing algorithms case-by-case. As a result, the state-of-the-art will advance from heuristic repairing, to proactive and theoretically supported prevention. This is needed not only because law requires to protect vulnerable people. Penetration of big data initiatives will only increase, and computer science needs to provide solid explanations and accountability to the public, before public concerns lead to unnecessarily restrictive regulations against machine learning.

研究动机与目标

• 解决机器学习算法为何以及如何产生歧视的科学理解不足问题。
• 构建一个统一的理论框架，以解释不同学习场景和数据类型下的歧视机制。
• 建立系统化、全局适用的优化准则，确保机器学习模型中不产生歧视。
• 实现对现有模型的可审计性与诊断，无需依赖临时约束或事后修复。
• 为机器学习中的公平性提供超越法律合规的科学依据，支持政策与实践。

提出的方法

• 分析完整的机器学习流程，识别歧视在数据预处理、模型训练和后处理阶段出现的位置与方式。
• 提出诊断框架（RQ1），通过分析受保护属性定义的子群体中的误差分布来评估公平性。
• 研究敏感属性在模型训练中的作用，即使不用于预测，以量化其对公平性的影响。
• 提出聚类或倾向得分匹配方法，以优化各子群体的准确率，减少误差率的显著偏差。
• 开发稳健的优化准则，通过控制子群体差异的参数，在准确率与公平性之间实现权衡。
• 将非歧视约束整合到学习目标中，基于对公平性-准确率权衡的理论分析。

实验结果

研究问题

• RQ1 RQ1：如何通过分析子群体中的误差分布，系统性地诊断机器学习模型中的公平性问题？
• RQ2 RQ2：导致算法歧视的基本计算机制是什么？它们如何依赖于数据采样和模型结构？
• RQ3 RQ2.5：如何构建一个用于模型开发中公平性审计的诊断与程序清单？
• RQ4 RQ3：可以推导出哪些新颖且稳健的优化准则，以确保在不牺牲模型性能的前提下，对所有受保护群体实现非歧视？
• RQ5 RQ3.3：通过新的优化准则强制实现公平性，是否真的能提升模型性能，而不仅仅是满足合规要求？

主要发现

• 即使在客观、采样充分的数据上，机器学习中的歧视仍可能发生，表明偏见不仅源于数据，也源于建模过程。
• 现有公平性解决方案往往具有临时性，依赖于特定案例的约束和措施，缺乏统一的理论基础。
• 在模型训练中包含敏感属性（即使不用于预测）对于检测和预防歧视至关重要。
• 线性回归的试点研究表明，完全排除敏感属性可能阻碍公平模型的开发，从而破坏公平性保证。
• 最小化子群体误差偏差的稳健优化准则，可产生更公平且更准确的模型。
• 理论与实证证据表明，公平感知优化可提升模型性能，挑战了“公平性降低准确率”的假设。