[论文解读] Fairness On The Ground: Applying Algorithmic Fairness Approaches to Production Systems

Chloé Bakalar, Renata da Costa Barreto+14 more|arXiv (Cornell University)|Mar 10, 2021

Ethics and Social Impacts of AI参考文献 56被引用 10

一句话总结

本文提出了一套实用框架，通过将规范性政策决策与实证实施指标分离，实现将算法公平性整合到大规模生产系统中。该框架基于跨群体的伤害与收益之间的明确权衡，采用阈值分析方法评估机器学习模型，并运用信号检测理论（Signal Detection Theory）推断人工标注者的决策阈值，从而在真实系统中实现可操作的公平性干预措施。

ABSTRACT

Many technical approaches have been proposed for ensuring that decisions made by machine learning systems are fair, but few of these proposals have been stress-tested in real-world systems. This paper presents an example of one team's approach to the challenge of applying algorithmic fairness approaches to complex production systems within the context of a large technology company. We discuss how we disentangle normative questions of product and policy design (like, "how should the system trade off between different stakeholders' interests and needs?") from empirical questions of system implementation (like, "is the system achieving the desired tradeoff in practice?"). We also present an approach for answering questions of the latter sort, which allows us to measure how machine learning systems and human labelers are making these tradeoffs across different relevant groups. We hope our experience integrating fairness tools and approaches into large-scale and complex production systems will be useful to other practitioners facing similar challenges, and illuminating to academics and researchers looking to better address the needs of practitioners.

研究动机与目标

• 弥合理论公平方法与大规模系统实际部署之间的差距。
• 将规范性政策问题（例如，谁应承担成本）与实证实施问题（例如，系统是否实现了预期的权衡）分离。
• 开发一种测量框架，明确呈现不同人口群体决策的成本与收益。
• 将公平性评估应用于生产环境中的机器学习驱动决策与人工标注者行为。
• 提供一种可扩展、上下文感知的公平性方法，为实践者与研究人员提供可操作的洞察。

提出的方法

• 将公平性分解为三个层次：产品设计、政策制定与系统实现，以指导针对性干预。
• 使用阈值流行度分析测量机器学习模型在不同群体中对假阳性和假阴性的优先级。
• 应用信号检测理论（SDT）推断人工标注者所使用的潜在决策阈值，将其视为心理决策者。
• 将公平性视为伤害（假阳性、假阴性）与收益之间的权衡，使价值取向的选择显性化。
• 使用基于现实影响的度量指标评估公平性，而非抽象的统计均等性，确保与利益相关者优先事项对齐。
• 通过诊断模型行为与人工标注实践，开展公平性问题的根本原因分析，尤其关注标注偏差的情形。

实验结果

研究问题

• RQ1 如何在生产系统中将规范性公平决策（例如，利益相关者之间的权衡）与实证公平性测量分离？
• RQ2 哪些度量指标能有效衡量机器学习系统与人工标注流程中的实施层面公平性？
• RQ3 如何使公平性度量中隐含的价值取向选择显性化并可审计？
• RQ4 在真实系统中，信号检测理论在推断并纠正人工标注者偏差方面可发挥多大作用？
• RQ5 当系统存在测量误差、标注不准确或对抗性行为时，标准公平性度量存在哪些局限性？

主要发现

• 该方法成功将规范性决策（例如，谁应承担错误成本）与实证测量分离，促进了利益相关者之间的清晰对齐。
• 阈值流行度分析揭示了机器学习系统中不同人口群体在假阳性率与假阴性率上存在系统性差异，表明存在偏向性的优先级设置。
• 信号检测理论使我们能够推断人工标注者所使用的潜在决策阈值，揭示了标注行为中的一致性问题与偏差。
• 标注偏差对指南、选择流程与激励机制高度敏感，表明行为干预可有效纠正不平衡。
• 敏感属性标注中的测量误差——尤其是当属性为推断而非自报时——可能显著扭曲公平性评估结果。
• 单一度量指标不足以应对复杂系统；公平性必须在组件层面与系统整体层面进行评估，因为反馈回路中的涌现交互作用会影响结果。