[论文解读] Fast Fair Regression via Efficient Approximations of Mutual Information

Daniel Steinberg, Alistair Reid+4 more|arXiv (Cornell University)|Feb 14, 2020

Adversarial Robustness in Machine Learning参考文献 25被引用 9

一句话总结

本文提出了一种快速、高效的互信息近似方法，用于在回归模型中强制实现群体公平性，利用条件互信息对独立性、分离性和充分性进行正则化。尽管计算速度很快，该方法在准确率-公平性权衡上达到了最先进水平，相较于现有方法在计算效率上表现更优，同时保持了出色的公平性表现。

ABSTRACT

Most work in algorithmic fairness to date has focused on discrete outcomes, such as deciding whether to grant someone a loan or not. In these classification settings, group fairness criteria such as independence, separation and sufficiency can be measured directly by comparing rates of outcomes between subpopulations. Many important problems however require the prediction of a real-valued outcome, such as a risk score or insurance premium. In such regression settings, measuring group fairness criteria is computationally challenging, as it requires estimating information-theoretic divergences between conditional probability density functions. This paper introduces fast approximations of the independence, separation and sufficiency group fairness criteria for regression models from their (conditional) mutual information definitions, and uses such approximations as regularisers to enforce fairness within a regularised risk minimisation framework. Experiments in real-world datasets indicate that in spite of its superior computational efficiency our algorithm still displays state-of-the-art accuracy/fairness tradeoffs.

研究动机与目标

• 为解决在回归设置中衡量和强制实现群体公平性的挑战，传统公平标准因依赖估计条件密度差异而计算上不可行。
• 开发快速、可扩展的互信息近似方法，以在回归模型中编码独立性、分离性和充分性等公平性标准。
• 将这些近似方法作为正则化项集成到正则化风险最小化框架中，实现模型准确率与公平性之间的高效权衡。
• 通过真实世界数据集对方法的性能进行实证验证，重点比较公平性和计算效率与最先进方法的表现。

提出的方法

• 该方法使用线性最小二乘预测器（LSPC）对条件互信息进行近似，该模型在预测值、目标值和敏感属性的联合分布的核表示上进行训练。
• 将公平性约束——特别是独立性、分离性和充分性——形式化为基于归一化互信息的正则化项，其来源于信息论定义。
• LSPC近似通过避免昂贵的密度估计，实现了线性时间计算（O(n)），而先前方法的复杂度为二次方（O(n²)）。
• 该方法具有模型无关性，可通过将公平性正则化项添加到经验风险目标中，应用于任意回归模型。
• 使用蒙特卡洛积分和参数化联合分布，在受控环境中评估互信息近似精度。
• 使用真实世界数据集对方法进行评估，公平性直接基于三项核心标准进行测量，计算效率与最先进替代方法进行基准对比。

实验结果

研究问题

• RQ1 是否可以使用快速、高效的条件互信息近似来在不牺牲准确率的前提下强制实现回归模型中的公平性？
• RQ2 这些近似在多大程度上能准确捕捉实现独立性、分离性和充分性等公平性标准所必需的真实互信息值？
• RQ3 与现有回归公平性正则化器相比，该方法的计算效率如何？
• RQ4 当与最先进方法进行基准对比时，该方法是否能实现具有竞争力的准确率-公平性权衡？

主要发现

• 所提出的LSPC互信息近似在准确率与计算效率之间实现了良好平衡，运行时间呈线性增长（O(n)），而先前方法为O(n²)。
• LSPC近似对真实互信息值具有合理的保真度，在100次测试场景中表现与更昂贵的估计器（如KSG和带傅里叶特征的逻辑回归）相当。
• 尽管显著更快，该方法在准确率-公平性权衡上仍可与最先进方法相媲美，表明其具有强大的实际性能。
• 该方法成功实现了在回归中应用信息论公平性标准，是首个在该设置下对独立性、分离性和充分性之间权衡进行综合实证研究的工作。