[论文解读] Interpretable Data-Based Explanations for Fairness Debugging

Romila Pradhan, Jiongli Zhu+2 more|arXiv (Cornell University)|Dec 17, 2021

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

Gopher 通过识别能够解释模型偏见的紧凑、可解释且具有因果责任的训练数据模式，提出了一种新颖的机器学习公平性调试框架。它利用因果责任来对数据子集进行排序，这些子集的移除或更新将最大程度减少偏见，从而使开发者能够追溯并从训练数据的根本源头缓解偏见。

ABSTRACT

A wide variety of fairness metrics and eXplainable Artificial Intelligence (XAI) approaches have been proposed in the literature to identify bias in machine learning models that are used in critical real-life contexts. However, merely reporting on a model's bias, or generating explanations using existing XAI techniques is insufficient to locate and eventually mitigate sources of bias. We introduce Gopher, a system that produces compact, interpretable and causal explanations for bias or unexpected model behavior by identifying coherent subsets of the training data that are root-causes for this behavior. Specifically, we introduce the concept of causal responsibility that quantifies the extent to which intervening on training data by removing or updating subsets of it can resolve the bias. Building on this concept, we develop an efficient approach for generating the top-k patterns that explain model bias that utilizes techniques from the machine learning (ML) community to approximate causal responsibility and uses pruning rules to manage the large search space for patterns. Our experimental evaluation demonstrates the effectiveness of Gopher in generating interpretable explanations for identifying and debugging sources of bias.

研究动机与目标

• 解决现有 XAI 方法无法将偏见追溯至训练数据来源的缺陷。
• 开发一种系统，生成对意外或歧视性模型行为具有可解释性、紧凑性且基于因果关系的解释。
• 使机器学习从业者能够通过识别导致不公平结果的具体训练数据子集来调试和缓解偏见。
• 形式化训练数据子集在公平性调试中的因果责任概念。
• 提供一种可扩展的方法，用于识别在修改后能最大程度减少模型偏见的 top-k 数据模式。

提出的方法

• 引入因果责任概念，量化移除或更新某个训练数据子集对减少模型偏见的贡献程度。
• 开发一种高效算法，利用机器学习技术和剪枝规则来近似计算因果责任，以管理潜在数据模式的庞大搜索空间。
• 使用模式挖掘技术发现与偏见存在因果关联的、连贯且可解释的训练数据子集。
• 采用 top-k 选择策略，返回最能解释模型偏见的影响力最大的数据模式。
• 利用数据库溯源和机器遗忘技术，为未来提升效率提供潜在集成路径。
• 应用剪枝启发式方法，在保持识别责任数据子集准确性的同时降低计算成本。

实验结果

研究问题

• RQ1 哪些训练数据模式对不公平的模型行为具有因果责任？
• RQ2 如何高效识别出移除或更新后能最大程度减少模型偏见的 top-k 数据子集？
• RQ3 我们能否生成可解释、紧凑且基于因果关系的偏见解释，使其可追溯至特定的训练数据？
• RQ4 与基于相关性或特征的解释相比，因果责任在识别偏见根源方面表现如何？
• RQ5 该框架能否扩展至非可微分模型（如基于树的模型或聚类算法）？

主要发现

• Gopher 有效识别出可解释的数据模式，用以解释模型偏见，例如在贷款预测中，'未婚女性且为房主'被识别为性别偏见的根本原因。
• 该系统高效计算因果责任近似值，实现对 top-k 责任数据子集的可扩展发现。
• 实验评估证实，Gopher 的解释能正确识别出具有明确真实偏见来源的数据集中的已知偏见来源。
• 与基于特征和基于实例的 XAI 方法相比，Gopher 的解释在诊断训练数据中偏见根源方面表现更优。
• 该框架在检测和解释由训练数据不平衡、误分类和测量误差引起的偏见方面具有有效性。
• 该方法具有泛化能力，可扩展支持广泛的机器学习模型，包括非可微分模型。