[论文解读] Interpretable Fairness via Target Labels in Gaussian Process Models.

Thomas Kehrenberg, Zexun Chen+1 more|arXiv (Cornell University)|Oct 12, 2018

Gaussian Processes and Bayesian Inference参考文献 14被引用 4

一句话总结

本文提出了一种统一的、可解释的高斯过程模型公平性框架，通过引入潜在目标输出来控制偏差。通过将公平性建模为边缘化而非约束优化，该方法实现了使用现成工具的稳定训练，并可通过目标率直接控制公平性，从而避免了现有方法中难以理解的超参数。

ABSTRACT

The issue of fairness in machine learning models has recently attracted a lot of attention as ensuring it will ensure continued confidence of the general public in the deployment of machine learning systems. We focus on mitigating the harm incurred by a biased machine learning system that offers better outputs (e.g. loans, job interviews) for certain groups than for others. We show that bias in the output can naturally be controlled in probabilistic models by introducing a latent target output. This formulation has several advantages: first, it is a unified framework for several notions of group fairness such as Demographic Parity and Equality of Opportunity; second, it is expressed as a marginalisation instead of a constrained problem; and third, it allows the encoding of our knowledge of what unbiased outputs should be. Practically, the second allows us to avoid unstable constrained optimisation procedures and to reuse off-the-shelf toolboxes. The latter translates to the ability to control the level of fairness by directly varying fairness target rates. In contrast, existing approaches rely on intermediate, arguably unintuitive, control parameters such as covariance thresholds.

研究动机与目标

• 通过减轻对某些人口群体有利的偏差输出，解决机器学习模型中的公平性问题。
• 开发一个统一的框架，以捕捉多种群体公平性概念，如人口均等和机会均等。
• 通过基于边缘化的替代方法取代不稳定的约束优化，以提高训练稳定性。
• 通过直接指定目标公平率，实现对公平性的直观控制，避免使用复杂中间参数。

提出的方法

• 引入一个潜在目标输出变量，以表示每个个体的期望无偏预测。
• 将公平预测建模为输入、潜在目标和观测输出联合分布的边缘化。
• 使用高斯过程回归来建模输入与输出之间的关系，条件于潜在目标。
• 将公平性约束表示为对潜在目标空间的重加权或边缘化，而非硬性约束。
• 通过避免约束优化，利用现成的高斯过程推理工具，实现实际部署。
• 允许用户直接设置目标公平率（例如，期望的人口均等率或机会率），使公平性调节更加直观。

实验结果

研究问题

• RQ1 如何在高斯过程模型中统一多种公平性定义（如人口均等与机会均等）？
• RQ2 是否可以在概率模型中不依赖不稳定的约束优化过程来实现公平性？
• RQ3 通过可解释的、用户指定的目标率控制公平性，其程度如何，而非依赖抽象的超参数？
• RQ4 与约束方法相比，基于边缘化的公式在稳定性和性能方面表现如何？

主要发现

• 所提方法通过避免约束优化实现了稳定训练，从而可使用标准高斯过程推理工具箱。
• 通过直接指定目标率，可实现对公平性的直接控制，为实践者提供了直观的交互界面。
• 该框架在单一概率公式下自然统一了多种公平性定义。
• 该方法消除了对先前方法中难以解释的中间参数（如协方差阈值）的依赖。