[论文解读] Interpretable and Interactive Summaries of Actionable Recourses.

Kaivalya Rawal, Himabindu Lakkaraju|arXiv (Cornell University)|Sep 15, 2020

Explainable Artificial Intelligence (XAI)参考文献 20被引用 4

一句话总结

本文提出Actionable Recourse Summaries（AReS），一种模型无关的框架，可为整个群体生成全局性、可解释且可交互的反事实解释。通过优化可追溯性正确性、可解释性以及整体成本，AReS生成紧凑的规则集，揭示跨子群体的可操作、非歧视性可追溯方案，具备理论保证，并在真实世界数据集中得到实证验证。

ABSTRACT

As predictive models are increasingly being deployed in high-stakes decision-making, there has been a lot of interest in developing algorithms which can provide recourses to affected individuals. While developing such tools is important, it is even more critical to analyse and interpret a predictive model, and vet it thoroughly to ensure that the recourses it offers are meaningful and non-discriminatory before it is deployed in the real world. To this end, we propose a novel model agnostic framework called Actionable Recourse Summaries (AReS) to construct global counterfactual explanations which provide an interpretable and accurate summary of recourses for the entire population. We formulate a novel objective which simultaneously optimizes for correctness of the recourses and interpretability of the explanations, while minimizing overall recourse costs across the entire population. More specifically, our objective enables us to learn, with optimality guarantees on recourse correctness, a small number of compact rule sets each of which capture recourses for well defined subpopulations within the data. Our framework is also interactive i.e., it allows users to input specific features of interest which will in turn be used to characterize subpopulations when generating recourse summaries. We also demonstrate theoretically that several of the prior approaches proposed to generate recourses for individuals are special cases of our framework. Experimental evaluation with real world datasets and user studies demonstrate that our framework can provide decision makers with a comprehensive overview of recourses corresponding to any black box model, and consequently help detect undesirable model biases and discrimination.

研究动机与目标

• 为在现实世界部署前解决预测模型可解释性与公平性验证的关键需求，特别是在高风险决策场景中。
• 开发一种全局性、模型无关的框架，为整个群体而非单个实例生成可操作可追溯方案的总结。
• 联合优化可追溯方案的正确性、解释的可解释性以及群体整体可追溯成本的最小化。
• 在可追溯总结生成过程中，支持用户交互输入以实现特定特征的子群体表征。
• 通过全面、人类可读的可追溯摘要，检测并揭示模型偏差与歧视性模式。

提出的方法

• 提出一种新颖的优化目标，平衡群体整体的可追溯正确性、规则集的可解释性以及总可追溯成本。
• 采用全局规则表示法，为定义明确的子群体生成紧凑、人类可读的反事实解释。
• 采用基于约束的学习方法，确保每个规则集均提供有效、可操作的可追溯方案，并具备最优性保证。
• 整合用户指定的特征，以动态定义子群体，实现针对性的可追溯总结。
• 通过模型无关性支持黑箱模型兼容性，可应用于任意训练好的分类器。
• 理论上将先前的个体级可追溯方法统一为本框架下的特例。

实验结果

研究问题

• RQ1 能否在保持正确性并最小化成本的前提下，为整个群体生成全局性、可解释的可追溯方案摘要？
• RQ2 如何在多样化子群体中联合优化可追溯生成的可解释性与公平性？
• RQ3 用户定义的特征在多大程度上可提升可追溯方案摘要的相关性与具体性？
• RQ4 与个体级可追溯方法相比，所提出的规则集在捕捉群体层面模式方面表现如何？
• RQ5 该框架能否通过摘要层面分析检测并暴露隐藏的模型偏差与歧视性模式？

主要发现

• AReS框架成功为整个群体生成了全局性、可解释且准确的可追溯方案摘要，具备理论最优性保证。
• 该方法生成了紧凑的规则集，可捕捉针对定义明确子群体的可操作可追溯方案，提升了透明度与可审计性。
• 通过用户交互输入特征，实现对子群体的针对性分析，增强了摘要的相关性与情境精确度。
• 在真实世界数据集上的实验评估表明，AReS能有效揭示个体可追溯方案中不可见的模型偏差与歧视性模式。
• 用户研究显示，决策者能够获得对模型行为的全面、可操作的概览，从而增强信任与问责性。
• 若干现有个体级可追溯方法被正式证明为本框架的特例，确立了理论统一性。