[论文解读] D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias

Bhavya Ghai, Klaus Mueller|arXiv (Cornell University)|Aug 10, 2022

Ethics and Social Impacts of AI被引用 9

一句话总结

D-BIAS 是一种基于因果模型的人机协同视觉分析系统，用于检测和缓解表格数据集中的算法偏见。通过允许用户交互式地修改因果关系，并以最小失真模拟去偏见数据集，该系统在公平性差异方面显著降低，同时相比自动化方法，显著提升了信任度、可解释性和问责性。

ABSTRACT

With the rise of AI, algorithms have become better at learning underlying patterns from the training data including ingrained social biases based on gender, race, etc. Deployment of such algorithms to domains such as hiring, healthcare, law enforcement, etc. has raised serious concerns about fairness, accountability, trust and interpretability in machine learning algorithms. To alleviate this problem, we propose D-BIAS, a visual interactive tool that embodies human-in-the-loop AI approach for auditing and mitigating social biases from tabular datasets. It uses a graphical causal model to represent causal relationships among different features in the dataset and as a medium to inject domain knowledge. A user can detect the presence of bias against a group, say females, or a subgroup, say black females, by identifying unfair causal relationships in the causal network and using an array of fairness metrics. Thereafter, the user can mitigate bias by acting on the unfair causal edges. For each interaction, say weakening/deleting a biased causal edge, the system uses a novel method to simulate a new (debiased) dataset based on the current causal model. Users can visually assess the impact of their interactions on different fairness metrics, utility metrics, data distortion, and the underlying data distribution. Once satisfied, they can download the debiased dataset and use it for any downstream application for fairer predictions. We evaluate D-BIAS by conducting experiments on 3 datasets and also a formal user study. We found that D-BIAS helps reduce bias significantly compared to the baseline debiasing approach across different fairness metrics while incurring little data distortion and a small loss in utility. Moreover, our human-in-the-loop based approach significantly outperforms an automated approach on trust, interpretability and accountability.

研究动机与目标

• 解决完全自动化去偏方法缺乏透明度、可解释性和用户控制的问题。
• 使领域专家能够通过交互式因果模型优化，注入上下文相关的公平性知识。
• 在保留数据可用性并最小化失真的前提下，减少表格数据中的算法偏见。
• 通过可视化、交互式控制去偏过程，提升信任度、问责性和可解释性。
• 展示人机协同因果建模在真实世界数据集中实现公平性的有效性。

提出的方法

• 系统使用因果发现算法（如 PC 算法）从表格数据构建图形化因果模型，表示特征之间的因果关系。
• 用户可通过削弱或删除其识别为不公平或有偏见的边，交互式地编辑因果网络。
• 每次用户交互都会触发一种新型基于仿真的数据生成过程，生成与更新后因果模型一致的新去偏数据集。
• 系统可视化每次更改对公平性度量（如人口统计均等性、机会均等性）、数据可用性以及数据分布失真度的影响。
• 可视化界面将因果网络探索、公平性评估与数据集生成整合为统一的工作流。
• 该方法利用结构方程模型（SEMs）进行数据仿真，同时确保与原始数据集的偏差最小化。

实验结果

研究问题

• RQ1 基于因果建模的人机协同系统能否有效检测并缓解表格数据集中的社会偏见？
• RQ2 用户对因果关系的交互如何影响公平性度量、数据可用性以及分布保真度？
• RQ3 D-BIAS 系统在公平性、信任度和可解释性方面相较于自动化去偏方法的优越程度如何？
• RQ4 用户如何评价该系统在公平性感知数据整理中提供的透明度与控制力？
• RQ5 将因果建模应用于真实世界高维数据集时，其可扩展性与可用性面临哪些挑战？

主要发现

• 与基线自动化去偏技术相比，D-BIAS 在多个公平性度量（如人口统计均等性、机会均等性）上显著降低了偏见。
• 该系统实现了极小的数据失真，并仅造成模型可用性的小幅损失，证明了公平性与性能之间有效权衡。
• 用户研究证实，与完全自动化工具相比，使用 D-BIAS 时用户报告了更高的信任度、可解释性和问责性。
• 通过允许用户移除或削弱不公平的因果边，该工具成功缓解了代理偏见，例如在 Adult Income 数据集中性别与婚姻状况之间的偏见。
• 用户研究参与者认为该可视化界面直观易用，并建议增加公平性度量的悬停提示和直接的 CSV 可视化功能。
• 该系统对因果发现中的抽样偏见（如在 COMPAS 数据集中年龄与种族之间出现的虚假边）表现出鲁棒性，可通过用户干预进行纠正。