[论文解读] Fair Forests: Regularized Tree Induction to Minimize Model Bias

Edward Raff, Jared Sylvester+1 more|arXiv (Cornell University)|Dec 21, 2017

Ethics and Social Impacts of AI参考文献 13被引用 9

一句话总结

本文提出了 Fair Forest，这是首个用于构建公平决策树和随机森林的正则化树归纳方法，旨在最小化模型偏差。通过修改分裂标准以惩罚对受保护属性的依赖，该方法在无需超参数调优的情况下，在分类和回归任务中均实现了最先进的公平性与准确性，同时支持多分类和连续特征。

ABSTRACT

The potential lack of fairness in the outputs of machine learning algorithms has recently gained attention both within the research community as well as in society more broadly. Surprisingly, there is no prior work developing tree-induction algorithms for building fair decision trees or fair random forests. These methods have widespread popularity as they are one of the few to be simultaneously interpretable, non-linear, and easy-to-use. In this paper we develop, to our knowledge, the first technique for the induction of fair decision trees. We show that our "Fair Forest" retains the benefits of the tree-based approach, while providing both greater accuracy and fairness than other alternatives, for both "group fairness" and "individual fairness.'" We also introduce new measures for fairness which are able to handle multinomial and continues attributes as well as regression problems, as opposed to binary attributes and labels only. Finally, we demonstrate a new, more robust evaluation procedure for algorithms that considers the dataset in its entirety rather than only a specific protected attribute.

研究动机与目标

• 为解决机器学习中尽管决策树和随机森林因可解释性和性能而广泛应用，却缺乏公平的决策树与随机森林算法的问题。
• 开发一种方法，确保不仅对二元受保护属性，也对多分类和连续特征实现公平性。
• 提出一种基于正则化的方案，统一减少数据集中任意特征的歧视，而不仅限于预定义的受保护属性。
• 引入适用于回归和多分类问题的新公平性度量，超越二元标签的限制。
• 采用综合评估方法，同时考虑所有特征，而非仅聚焦于单一受保护属性。

提出的方法

• 在树归纳中提出一种正则化分裂标准，当分裂严重依赖受保护属性时，对其信息增益施加惩罚。
• 引入一种公平性正则化项，在分裂选择过程中修改基尼不纯度或方差减少量，以减少对受保护特征的依赖。
• 将公平性度量扩展至处理多分类和连续受保护属性，以及回归目标，采用广义歧视度量。
• 采用一种新颖的评估框架，测试数据集中所有特征的公平性，而非仅逐个测试单一受保护属性。
• 保留标准随机森林训练流程，仅需极少代码修改，且无需为公平性调整超参数。
• 利用特征重要性分析揭示公平性实施后模型行为的变化，从而实现对偏差缓解措施的可审计性。

实验结果

研究问题

• RQ1 能否设计一种正则化树归纳算法，在保持预测准确性和可解释性的同时最小化模型偏差？
• RQ2 如何对连续和多分类受保护属性（而不仅限于二元属性）进行公平性度量与强制？
• RQ3 所提出的方法是否能统一减少数据集中所有特征的歧视，而不仅限于目标受保护属性？
• RQ4 是否可在不进行超参数调优或牺牲模型性能的前提下实现公平性提升？
• RQ5 在实施公平性后，模型的特征重要性如何变化？这些变化能揭示关于数据偏差的何种洞见？

主要发现

• Fair Forest 方法在德国和健康数据集中将所有特征的歧视降至零，实现了完美公平性，且未牺牲准确性。
• 在 Adult 数据集中，平均歧视从 0.2971 降低至 0.1253，平均准确率从 0.854 略降至 0.804。
• 特征重要性分析显示，大多数特征的相对重要性发生反转——例如，在德国数据集中，checking-status 的重要性下降，而 housing 的重要性上升。
• 在 Adult 数据集中，由于 capital-gain 和 capital-loss 与性别高度相关，Fair Forest 将其优先级降低，提示数据收集中可能存在潜在偏差。
• 该方法在所有数据集中统一减少了所有特征的歧视，证明其在预选受保护属性之外也具有鲁棒性。
• 该方法无需超参数调优，保持了标准随机森林的“开箱即用”特性，同时显著提升了公平性。