[论文解读] Beyond Individualized Recourse: Interpretable and Interactive Summaries of Actionable Recourses

Kaivalya Rawal, Himabindu Lakkaraju|arXiv (Cornell University)|Sep 15, 2020

Explainable Artificial Intelligence (XAI)参考文献 36被引用 24

一句话总结

该论文提出了可操作的反事实解释摘要（AReS），这是一种模型无关的框架，通过学习子群体的紧凑规则集，为整个群体生成全局性、可解释且成本效益高的反事实解释。该框架使决策者能够在模型部署前检测到机器学习模型中的偏见与歧视，在用户研究中，其在偏见检测和描述方面优于个体层面的反事实方法。

ABSTRACT

As predictive models are increasingly being deployed in high-stakes decision-making, there has been a lot of interest in developing algorithms which can provide recourses to affected individuals. While developing such tools is important, it is even more critical to analyse and interpret a predictive model, and vet it thoroughly to ensure that the recourses it offers are meaningful and non-discriminatory before it is deployed in the real world. To this end, we propose a novel model agnostic framework called Actionable Recourse Summaries (AReS) to construct global counterfactual explanations which provide an interpretable and accurate summary of recourses for the entire population. We formulate a novel objective which simultaneously optimizes for correctness of the recourses and interpretability of the explanations, while minimizing overall recourse costs across the entire population. More specifically, our objective enables us to learn, with optimality guarantees on recourse correctness, a small number of compact rule sets each of which capture recourses for well defined subpopulations within the data. We also demonstrate theoretically that several of the prior approaches proposed to generate recourses for individuals are special cases of our framework. Experimental evaluation with real world datasets and user studies demonstrate that our framework can provide decision makers with a comprehensive overview of recourses corresponding to any black box model, and consequently help detect undesirable model biases and discrimination.

研究动机与目标

• 解决在模型部署前缺乏对可操作反事实的全局、可解释性摘要的问题。
• 使决策者能够分析不同子群体（尤其是基于种族或性别等敏感属性定义的子群体）之间反事实的差异。
• 在整体人群中联合优化反事实正确性、可解释性以及总体反事实成本。
• 提供一种能够检测并突出显示模型行为中歧视性模式的框架，以支持公平性审计。
• 克服个体层面反事实方法的局限性，这些方法无法支持高层次的模型审查或偏见检测。

提出的方法

• 提出一种新颖的优化目标，以平衡反事实正确性、可解释性以及全局反事实成本最小化。
• 采用模型无关的方法，学习捕捉明确定义的子群体反事实的紧凑规则集。
• 使用 Bradley-Terry 模型从特征的成对比较中学习反事实成本，避免依赖于实值成本函数。
• 支持用户定义的子组（例如按种族划分）以及通过聚类或规则挖掘自动发现的子群体。
• 通过约束优化实现反事实正确性的最优性保证，结合子模性和非负成本函数。
• 支持交互式和可视化摘要，其中外层 if 规则定义子群体，内层 if-then 规则指定可操作的反事实。

实验结果

研究问题

• RQ1 能否构建一个全局的、可解释的反事实摘要，使决策者能够在模型部署前审计其公平性？
• RQ2 反事实模式在不同子群体之间有何差异，特别是基于敏感属性（如种族或性别）定义的子群体？
• RQ3 一个统一的框架能否同时优化反事实生成的正确性、可解释性和成本效率？
• RQ4 与个体层面的反事实解释相比，全局摘要在帮助用户检测模型偏见方面有多有效？
• RQ5 该框架在多大程度上能够检测并揭示黑箱模型中的隐藏偏见？

主要发现

• 在用户研究中，使用 AReS 的参与者中有 88.9% 检测到具有种族差异的模型中的偏见，而使用聚合个体反事实（AR-LIME）的参与者仅占 44.4%。
• 平均而言，使用 AReS 的用户中有 55.6% 正确描述了偏见的性质，而使用 AR-LIME 的用户仅占 11.1%。
• 在注入种族偏见的三层神经网络中，AReS 在偏见检测（88.9% vs. 44.4%）和偏见描述（55.6% vs. 11.1%）方面均优于 AR-LIME。
• 对于具有类似偏见的逻辑回归模型，AReS 和 AR-LIME 在偏见检测方面表现相当（均为 88.9%），但 AReS 在偏见描述方面显著优于 AR-LIME（66.7% vs. 44.4%）。
• 该框架在个体层面反事实生成方面保持了强劲性能，与最先进基线方法相当。
• 结果表明，AReS 提供了高度可解释且准确的全局摘要，能够有效揭示模型行为中的歧视性模式。