[论文解读] Information Theoretic Measures for Fairness-aware Feature Selection

Sajad Khodadadian, Mohamed Nafea+2 more|arXiv (Cornell University)|Jun 1, 2021

Ethics and Social Impacts of AI参考文献 40被引用 5

一句话总结

本文提出了一种基于信息论的公平性感知特征选择框架，利用Shapley值量化每个特征对预测准确率和歧视性的边际影响。该框架引入了基于互信息的联合准确率与歧视系数，实现无需依赖特定分类器即可平衡效用与公平性的特征选择，在合成数据集和COMPAS数据集上得到验证，移除如年龄和先前记录次数等高影响力特征后，偏差显著降低。

ABSTRACT

Machine learning algorithms are increasingly used for consequential decision making regarding individuals based on their relevant features. Features that are relevant for accurate decisions may however lead to either explicit or implicit forms of discrimination against unprivileged groups, such as those of certain race or gender. This happens due to existing biases in the training data, which are often replicated or even exacerbated by the learning algorithm. Identifying and measuring these biases at the data level is a challenging problem due to the interdependence among the features, and the decision outcome. In this work, we develop a framework for fairness-aware feature selection which takes into account the correlation among the features and the decision outcome, and is based on information theoretic measures for the accuracy and discriminatory impacts of features. In particular, we first propose information theoretic measures which quantify the impact of different subsets of features on the accuracy and discrimination of the decision outcomes. We then deduce the marginal impact of each feature using Shapley value function; a solution concept in cooperative game theory used to estimate marginal contributions of players in a coalitional game. Finally, we design a fairness utility score for each feature (for feature selection) which quantifies how this feature influences accurate as well as nondiscriminatory decisions. Our framework depends on the joint statistics of the data rather than a particular classifier design. We examine our proposed framework on real and synthetic data to evaluate its performance.

研究动机与目标

• 解决在机器学习系统中识别同时影响准确预测与歧视性结果的特征的挑战。
• 开发一种方法，量化特征对准确率与歧视性的边际影响，同时考虑特征之间的依赖关系。
• 构建一个公平性-效用评分，以在预测性能与公平性之间权衡时实现特征选择。
• 通过仅依赖特征、敏感属性与结果的联合统计分布，确保框架与分类器无关。
• 在真实世界（COMPAS）和合成数据集上评估该框架，以证明其在不显著损失准确率的前提下有效降低偏差。

提出的方法

• 定义两个信息论度量：一个用于边际准确率影响（φ^Acc），一个用于边际歧视影响（φ^D），基于特征子集、敏感属性与结果之间的互信息。
• 使用合作博弈论中的Shapley值计算每个特征对整体准确率与歧视得分的边际贡献。
• 将公平性-效用评分构建为φ^Acc与φ^D的加权组合，其中超参数α用于平衡准确率与公平性目标。
• 从数据（或在合成情况下使用图形模型）计算联合概率分布，以推导所有必需的互信息项。
• 通过训练神经网络分类器并在移除特征后测量预测误差与偏差（KL散度）的变化，将该框架应用于真实与合成数据集。
• 使用100次重复实验的置信区间评估度量的稳定性。

实验结果

研究问题

• RQ1 如何量化每个特征对预测准确率与歧视性影响的边际贡献，同时考虑特征之间的依赖关系？
• RQ2 信息论度量在多大程度上能够捕捉特征、敏感属性与决策结果之间的非线性关系？
• RQ3 基于Shapley值的分解能否在合作框架中有效隔离特征对公平性与效用的个体影响？
• RQ4 所提出的公平性-效用评分与现有方法相比，在识别现实世界数据集中高影响力歧视性代理特征方面表现如何？
• RQ5 移除具有高歧视系数的特征是否能带来可测量的分类器偏差降低，同时不造成准确率的显著损失？

主要发现

• 在合成数据集中，特征X₃和X₄的边际准确率系数最高（分别为4.467和3.122），其移除导致预测误差最大增加。
• 特征X₁的边际歧视系数最高（2.7927 × 10⁷），其移除使分类器输出的偏差最低。
• 在COMPAS数据集中，年龄和先前记录次数的歧视系数最高（分别为6.0904 × 10⁶和5.0466 × 10⁶），其移除对偏差的降低最为显著。
• 指控程度和性别特征的准确率系数最低（分别为0.1723和0.4186），其移除对预测误差的影响最小，证实其对分类的效用较低。
• 该框架成功识别出在COMPAS数据集中，年龄和先前记录次数是种族的强代理特征，与先前关于红线划分和代理歧视的研究发现一致。
• 两个数据集的结果均显示，所提出的系数与分类器性能和偏差的实际变化具有强相关性，验证了该框架的可靠性与可解释性。