[论文解读] FairCanary: Rapid Continuous Explainable Fairness

Avijit Ghosh, Aalok Shanbhag+1 more|arXiv (Cornell University)|Jun 13, 2021

Ethics and Social Impacts of AI参考文献 44被引用 4

一句话总结

FairCanary 引入了分位数人口群体漂移（QDD），这是一种无需阈值的公平性度量方法，通过分位数分箱量化模型预测分布中不同子群体之间的差异。通过重用现有的实例级解释（如 SHAP 或 LIME），FairCanary 实现了快速、持续且可解释的公平性监控——相比以往需要从头重新计算解释的方法，速度提升了 10 倍。

ABSTRACT

Systems that offer continuous model monitoring have emerged in response to (1) well-documented failures of deployed Machine Learning (ML) and Artificial Intelligence (AI) models and (2) new regulatory requirements impacting these models. Existing monitoring systems continuously track the performance of deployed ML models and compute feature importance (a.k.a. explanations) for each prediction to help developers identify the root causes of emergent model performance problems. We present Quantile Demographic Drift (QDD), a novel model bias quantification metric that uses quantile binning to measure differences in the overall prediction distributions over subgroups. QDD is ideal for continuous monitoring scenarios, does not suffer from the statistical limitations of conventional threshold-based bias metrics, and does not require outcome labels (which may not be available at runtime). We incorporate QDD into a continuous model monitoring system, called FairCanary, that reuses existing explanations computed for each individual prediction to quickly compute explanations for the QDD bias metrics. This optimization makes FairCanary an order of magnitude faster than previous work that has tried to generate feature-level bias explanations.

研究动机与目标

• 为解决传统公平性度量方法依赖于任意阈值和结果标签的局限性，这些因素在生产环境中通常不可用。
• 开发一种连续监控系统，可在不重新训练或重新计算解释的情况下检测部署中机器学习模型的公平性漂移。
• 为公平性度量提供特征级别的解释，实时揭示偏差的根本原因。
• 支持符合新兴人工智能治理框架的监管合规要求，这些框架要求对市场后阶段的公平性进行监控。
• 通过重用现有的模型解释基础设施，提高公平性监控的效率和可扩展性。

提出的方法

• 提出分位数人口群体漂移（QDD）这一公平性度量方法，通过分位数分箱而非固定阈值，比较不同子群体间的预测分布。
• 采用基于分位数的分箱方法，度量累积预测分布之间的差异，避免了依赖阈值的度量方法（如人口均等性或机会均等性）所存在的统计局限性。
• 重用为单个预测计算的实例级解释（如 SHAP 或 LIME），以高效推导出 QDD 的特征级解释，无需重新计算。
• 将 QDD 集成到连续监控流水线中，随时间跟踪模型输入、输出和公平性度量，并支持可配置的漂移警报。
• 采用模块化架构，支持与现有机器学习监控堆栈集成，并支持动态调整分箱数量和警报灵敏度。
• 通过合成案例研究和真实世界示例验证该方法，证明其对阈值选择具有鲁棒性，并能更有效地检测公平性漂移。

实验结果

研究问题

• RQ1 是否可以设计一种公平性度量方法，使其独立于任意预测阈值，同时仍能检测到模型行为中的有意义差异？
• RQ2 在无需从头重新计算解释的情况下，如何在连续监控环境中高效计算公平性度量的特征级解释？
• RQ3 当结果标签不可用时，QDD 在检测公平性漂移方面相较于传统公平性度量方法的优越程度如何？
• RQ4 重用现有实例级解释是否能显著降低公平性监控中的计算开销？
• RQ5 在真实部署场景中，QDD 在检测不同类型的数据漂移（如渐进式或突发式）的公平性漂移方面表现如何？

主要发现

• QDD 在合成场景中成功检测到公平性漂移，而传统度量方法（如统计均等差异 SPD 和差异影响 DI）由于对阈值敏感，未能触发警报。
• 在为期两天的合成案例研究中，SPD 在所有测试阈值下均未在第二天检测到偏差，而 DI 仅在单一阈值水平下检测到偏差，表明基于阈值的度量方法具有脆弱性。
• 与以往需要从头重新计算解释的工作相比，FairCanary 在计算公平性度量的特征级解释方面实现了 10 倍的速度提升。
• 通过重用现有实例级解释来计算 QDD，实现了低性能开销的实时、可扩展公平性监控。
• QDD 对结果标签缺失具有鲁棒性，使其适用于推理时标签可能不可用的生产环境。
• 该系统通过可解释的偏差检测提供可操作的洞察，帮助开发人员识别部署模型中公平性问题的根本原因。