[论文解读] Kernel Dependence Regularizers and Gaussian Processes with Applications to Algorithmic Fairness

Zhu Li, Adrián Pérez-Suay+2 more|arXiv (Cornell University)|Nov 11, 2019

Machine Learning and Data Classification参考文献 35被引用 12

一句话总结

本文提出了一种基于核函数的正则化框架，通过希尔伯特-施мид特独立性准则（HSIC）惩罚模型预测与敏感变量之间的统计依赖性，从而实现更公平的机器学习。该方法为岭回归推导出闭式解，并提出了一个具有可解释超参数选择的合理高斯过程（GP）建模方法，在真实世界中的收入和犯罪预测任务中展示了更优的公平性-准确性权衡。

ABSTRACT

Current adoption of machine learning in industrial, societal and economical activities has raised concerns about the fairness, equity and ethics of automated decisions. Predictive models are often developed using biased datasets and thus retain or even exacerbate biases in their decisions and recommendations. Removing the sensitive covariates, such as gender or race, is insufficient to remedy this issue since the biases may be retained due to other related covariates. We present a regularization approach to this problem that trades off predictive accuracy of the learned models (with respect to biased labels) for the fairness in terms of statistical parity, i.e. independence of the decisions from the sensitive covariates. In particular, we consider a general framework of regularized empirical risk minimization over reproducing kernel Hilbert spaces and impose an additional regularizer of dependence between predictors and sensitive covariates using kernel-based measures of dependence, namely the Hilbert-Schmidt Independence Criterion (HSIC) and its normalized version. This approach leads to a closed-form solution in the case of squared loss, i.e. ridge regression. Moreover, we show that the dependence regularizer has an interpretation as modifying the corresponding Gaussian process (GP) prior. As a consequence, a GP model with a prior that encourages fairness to sensitive variables can be derived, allowing principled hyperparameter selection and studying of the relative relevance of covariates under fairness constraints. Experimental results in synthetic examples and in real problems of income and crime prediction illustrate the potential of the approach to improve fairness of automated decisions.

研究动机与目标

• 通过减少预测与敏感属性（如种族或性别）之间的统计依赖性，解决机器学习中的算法公平性问题。
• 克服直接移除敏感变量的局限性，该方法在相关协变量仍保留偏差（如红线政策和遗漏变量偏差）时会失效。
• 开发一种基于核函数依赖度量的正则化框架，通过统计独立性约束强制实现预测的统计独立性。
• 通过从正则化核方法推导出的高斯过程建模，实现超参数选择的合理化与模型可解释性。
• 在合成数据和真实世界数据集（Adult 收入与 Communities and Crime）上验证该方法的有效性，展示其在公平性-准确性权衡上的改进。

提出的方法

• 在再生核希尔伯特空间（RKHS）上将公平性建模为带正则化的经验风险最小化问题，增加基于 HSIC 的正则项以惩罚预测与敏感变量之间的依赖性。
• 使用归一化的希尔伯特-施米特独立性准则（HSIC）作为基于核函数的统计依赖度量，确保正则化具有尺度不变性且可解释。
• 推导出正则化核岭回归问题的闭式解，实现高效优化与理论分析。
• 将正则化核方法重新解释为具有修改后先验的高斯过程（GP），其中公平性约束改变了核协方差结构。
• 在 GP 框架中引入自动相关性确定（ARD）核，以评估在公平性约束下各特征（尤其是敏感变量）的相对影响。
• 在 GP 框架中通过最大化边际似然进行超参数调优，实现合理且稳健的模型选择。

实验结果

研究问题

• RQ1 像 HSIC 这样的基于核函数的依赖度量是否能有效用于正则化机器学习模型，以实现在预测中的统计独立性？
• RQ2 在核岭回归中引入 HSIC 正则化是否能获得闭式解？与标准岭回归相比性能如何？
• RQ3 公平性正则化的核方法能否自然地扩展到高斯过程？该方法是否能实现更好的超参数选择与可解释性？
• RQ4 在公平性正则化下，敏感变量的核带宽（如 ARD 参数）如何变化？这对其在预测中的影响意味着什么？
• RQ5 在真实世界预测任务（如收入与犯罪预测）中，该方法在多大程度上改善了公平性-准确性权衡？

主要发现

• 公平性正则化的核岭回归实现了闭式解，使公平预测任务的高效可扩展实现成为可能。
• 从正则化核方法推导出的 GP 建模允许通过最大化边际似然实现合理的超参数选择，提升了模型鲁棒性。
• 在 Communities and Crime 数据集中，使用 ARD 核的公平 GP 显著增加了敏感变量的带宽（θi）——例如，非裔美国人（Race-Black）从 1.809 增加到 2.939，亚裔美国人收入（Income-Asian）从 17.76 增加到 386.2，表明这些特征在预测中的影响被显著降低。
• 不公平度量从标准 GP 的 0.050 ± 0.001 降低至公平 GP 的 0.0024 ± 0.0001，显著提升了统计独立性。
• 与标准 GP 和核岭回归相比，公平 GP 模型在公平性-准确性权衡上表现更优，尤其在 Adult 收入数据集中，GP 超参数优化的优势最为显著。
• 该方法在不移除敏感变量的情况下有效降低了其对预测的影响，从而在真实应用中缓解了红线政策和遗漏变量偏差。