[论文解读] Detecting Bias in Black-Box Models Using Transparent Model Distillation.

Sarah Tan, Rich Caruana+2 more|arXiv (Cornell University)|Oct 17, 2017

Explainable Artificial Intelligence (XAI)参考文献 16被引用 30

一句话总结

本文提出一种透明的知识蒸馏方法，通过在模型预测的风险评分和实际结果上训练可解释的学生模型，以检测黑箱风险评分模型中的偏见。利用两种模型在受保护特征贡献差异上的置信区间，识别出具有统计显著性的差异，从而揭示偏见。

ABSTRACT

Black-box risk scoring models permeate our lives, yet are typically proprietary and opaque. We propose a transparent model distillation approach to detect bias in such models. Model distillation was originally designed to distill knowledge from a large, complex teacher model to a faster, simpler student model without significant loss in prediction accuracy. We add a third restriction - transparency. In this paper we use data sets that contain two labels to train on: the risk score predicted by a black-box model, as well as the actual outcome the risk score was intended to predict. This allows us to compare models that predict each label. For a particular class of student models - interpretable tree additive models with pairwise interactions (GA2Ms) - we provide confidence intervals for the difference between the risk score and actual outcome models. This presents a new method for detecting bias in black-box risk scores by assessing if contributions of protected features to the risk score are statistically different from their contributions to the actual outcome.

研究动机与目标

• 解决在高风险决策中使用的专有、不透明风险评分模型中检测偏见的挑战。
• 通过直接比较模型预测与现实世界结果，克服传统公平性审计的局限性。
• 开发一种在知识蒸馏过程中保持透明性的同时维持预测准确性的方法。
• 通过量化风险评分与实际结果之间受保护特征贡献的差异，实现偏见检测。
• 通过可解释模型中的区间估计，为偏见检测提供统计置信度。

提出的方法

• 训练一个透明的学生模型（GA2M）以同时预测黑箱模型的风险评分和实际结果。
• 使用知识蒸馏将黑箱教师模型的知识转移至学生模型，同时保持最小的准确率损失。
• 引入透明性作为第三项约束，确保学生模型具有可解释性，并显式建模特征贡献。
• 分别为风险评分和实际结果训练独立模型，从而实现对受保护特征影响的直接比较。
• 计算两个模型之间受保护特征贡献差异的置信区间，以评估统计显著性。
• 在GA2M中使用成对交互项，以在保持可解释性的同时建模复杂的特征关系。

实验结果

研究问题

• RQ1 与现有方法相比，透明知识蒸馏是否能更有效地检测黑箱风险评分模型中的偏见？
• RQ2 受保护特征对风险评分的贡献是否在统计上显著不同于其对实际结果的贡献？
• RQ3 使用置信区间是否能提高知识蒸馏中偏见检测的可靠性？
• RQ4 透明学生模型在实现偏见检测的同时，能在多大程度上保持预测准确性？
• RQ5 该方法是否能在不访问黑箱模型内部结构的情况下识别偏见？

主要发现

• 该方法成功识别出风险评分与实际结果之间受保护特征贡献的统计显著差异，表明可能存在偏见。
• 受保护特征贡献差异的置信区间为偏见检测提供了可靠的统计基础。
• 使用可解释的GA2M模型使得受保护特征如何影响预测的可视化与解释变得清晰。
• 知识蒸馏在将黑箱模型知识转移至透明学生模型的同时，保持了较高的预测准确性。
• 即使黑箱模型完全不透明，该方法仍能通过仅依赖输入-输出行为检测到偏见。
• 该方法揭示了某些情况下受保护特征对风险评分有强烈影响，但对实际结果影响极小，提示潜在的公平性问题。