[论文解读] Achieving Equalized Odds by Resampling Sensitive Attributes

Yaniv Romano, Stephen Bates+1 more|arXiv (Cornell University)|Jan 1, 2020

Adversarial Robustness in Machine Learning被引用 2

一句话总结

本文提出了一种可微分框架，通过使用重采样的敏感属性来惩罚违规行为，从而在机器学习模型中强制实现等 odds 公平性。通过构建差异性泛函并利用重采样以确保公平性，该方法提升了模型性能，并支持对公平性进行严格的假设检验，适用于回归和多分类任务。

ABSTRACT

We present a flexible framework for learning predictive models that approximately satisfy the equalized odds notion of fairness. This is achieved by introducing a general discrepancy functional that rigorously quantifies violations of this criterion. This differentiable functional is used as a penalty driving the model parameters towards equalized odds. To rigorously evaluate fitted models, we develop a formal hypothesis test to detect whether a prediction rule violates this property, the first such test in the literature. Both the model fitting and hypothesis testing leverage a resampled version of the sensitive attribute obeying equalized odds, by construction. We demonstrate the applicability and validity of the proposed framework both in regression and multi-class classification problems, reporting improved performance over state-of-the-art methods. Lastly, we show how to incorporate techniques for equitable uncertainty quantification---unbiased for each group under study---to communicate the results of the data analysis in exact terms.

研究动机与目标

• 为解决在存在种族或性别等敏感属性的场景下，确保预测模型满足等 odds 公平性的挑战。
• 开发一种可微分的差异性泛函，用于量化等 odds 公平性违规程度，从而支持基于优化的公平性改进。
• 设计一种正式的假设检验方法，以严格检测模型是否违反等 odds 公平性，这是该领域首次实现。
• 整合公平的不确定性量化技术，确保在不同人口群体中无偏，从而保障模型解释的透明性与公平性。
• 在回归和多分类任务中展示该框架的有效性，其表现优于当前最先进方法。

提出的方法

• 引入一种可微分的差异性泛函，用于度量模型在不同敏感群体中预测结果违反等 odds 公平性的程度。
• 通过重采样敏感属性构建一个天然满足等 odds 公平性的代理变量，该变量同时用于模型训练与假设检验。
• 将差异性泛函作为惩罚项引入模型的目标函数中，以驱动模型参数向满足等 odds 公平性的方向优化。
• 利用重采样的敏感属性进行正式的统计假设检验，以在控制第一类错误率的前提下检测等 odds 公平性违规。
• 整合公平的不确定性量化方法，确保预测区间或可信区间在各群体中无偏。
• 使用标准优化技术训练模型，并加入惩罚项，实现端到端学习的同时保持公平性约束。

实验结果

研究问题

• RQ1 能否设计一种可微分、基于优化的框架，以在机器学习模型中强制实现等 odds 公平性？
• RQ2 如何利用敏感属性的重采样版本，同时用于训练公平模型与检测公平性违规？
• RQ3 能否通过正式的统计假设检验，在严格控制第一类错误率的前提下检测等 odds 公平性违规？
• RQ4 与当前最先进方法相比，该方法在回归和多分类任务中是否能提升模型性能？
• RQ5 能否整合公平的不确定性量化技术，以确保在不同人口群体中对模型预测的解释是公平的？

主要发现

• 所提出的框架通过使用可微分的差异性泛函，在模型训练过程中对公平性违规行为施加惩罚，成功实现了等 odds 公平性。
• 使用重采样的敏感属性确保了训练和假设检验均基于一个从设计上即满足等 odds 公平性的构造。
• 首次开发出正式的等 odds 公平性违规假设检验方法，实现了对预测模型公平性的严格统计评估。
• 实证结果表明，该方法在回归和多分类任务中均优于当前最先进方法。
• 成功整合了公平的不确定性量化技术，确保了在不同人口群体中预测区间的无偏性。
• 该框架在保持公平性与可解释性的同时，展现出对多样化机器学习问题的鲁棒性与适用性。