[论文解读] FairVis: Visual Analytics for Discovering Intersectional Bias in Machine Learning

Ángel Alexander Cabrera, Will Epperson+4 more|arXiv (Cornell University)|Apr 10, 2019

Ethics and Social Impacts of AI参考文献 40被引用 181

一句话总结

FAIRVIS 是一个可视化分析系统，通过协同的交互式视图，使数据科学家能够发现机器学习模型中的交叉偏见。它结合了基于聚类和基于熵的特征重要性分析的自动化子组建议与用户驱动的探索，揭示了隐藏的差异——例如，在‘已婚-配偶’关系状态的女性子组中，准确率下降了71%，从而提高了对复杂人口统计交叉特征下公平性审计的可审计性。

ABSTRACT

The growing capability and accessibility of machine learning has led to its application to many real-world domains and data about people. Despite the benefits algorithmic systems may bring, models can reflect, inject, or exacerbate implicit and explicit societal biases into their outputs, disadvantaging certain demographic subgroups. Discovering which biases a machine learning model has introduced is a great challenge, due to the numerous definitions of fairness and the large number of potentially impacted subgroups. We present FairVis, a mixed-initiative visual analytics system that integrates a novel subgroup discovery technique for users to audit the fairness of machine learning models. Through FairVis, users can apply domain knowledge to generate and investigate known subgroups, and explore suggested and similar subgroups. FairVis' coordinated views enable users to explore a high-level overview of subgroup performance and subsequently drill down into detailed investigation of specific subgroups. We show how FairVis helps to discover biases in two real datasets used in predicting income and recidivism. As a visual analytics system devoted to discovering bias in machine learning, FairVis demonstrates how interactive visualization may help data scientists and the general public understand and create more equitable algorithmic systems.

研究动机与目标

• 为解决在机器学习模型中检测交叉偏见的挑战，即当多个人口统计特征（如种族和性别）组合时才会出现性能差异的问题。
• 通过聚类和公平性度量自动发现表现欠佳的交叉子组，减轻手动子组探索的负担。
• 通过比较特征分布和相似子组，支持数据科学家调查某些子组表现不佳的原因。
• 将领域知识与自动化建议相结合，使用户能够在保持模型性能的同时平衡公平性度量。
• 提供一个交互式、可扩展的界面，用于审计现实世界数据集中的公平性，特别是在再犯预测和收入预测等高风险领域。

提出的方法

• FAIRVIS 采用混合主动性可视化分析架构，包含协同视图：特征分布视图、子组概览视图、详细比较视图和建议/相似子组视图。
• 在训练数据上应用 K-means 聚类，将具有相似特征模式的实例分组，识别出统计上相似的子组。
• 计算基于熵的特征重要性，以识别影响聚类中公平性度量异常的关键人口统计特征。
• 根据最低的公平性度量值（如准确率、假阳性率）对子组进行排序并提出建议，以实现针对性调查。
• 通过特征分布之间的统计差异性（如 KL 散度）识别相似子组，以支持对比分析。
• 系统可视化子组之间的公平性度量和基线率，使用户能够比较性能并推测差异的成因。

实验结果

研究问题

• RQ1 可视化分析系统如何有效支持在机器学习模型中发现交叉偏见？
• RQ2 哪些技术可以自动化识别在多个交叉特征下表现欠佳的人口统计子组？
• RQ3 子组之间的相似性度量如何帮助用户理解性能差异的根本原因？
• RQ4 自动化子组建议在多大程度上与用户在真实世界数据集中识别的公平性问题相吻合？
• RQ5 协同可视化界面在多大程度上提升了对复杂、高维人口统计子组中公平性度量的可审计性？

主要发现

• 在 UCI 收入数据集中，FAIRVIS 识别出一个子组：'婚姻状态为“已婚-配偶”且关系为“妻子”的女性'，其模型准确率低至71%，远低于数据集平均值85%。
• 另一个相似子组——'婚姻状态为“已婚-配偶”且关系为“自己子女”的女性'——仅有44个实例，且正样本基线率低于20%，表明数据稀缺和类别不平衡是导致问题的潜在因素。
• 系统揭示，在再犯预测数据集中，非裔美国男性在所有种族-性别子组中具有最高的假阳性率（超过70%），尽管其召回率相对较高，表明存在严重的公平性问题。
• 用户通过详细比较视图和特征分布视图，能够将性能差异与特征分布的不平衡（如基线率偏斜和子组规模过小）联系起来。
• 建议子组和相似子组视图成功突出了公平性度量表现异常的子组，使用户能够快速优先识别高风险群体进行进一步调查。
• 将自动化子组建议与用户驱动的探索相结合，显著提高了公平性审计的效率，减少了对全面手动子组枚举的需求。