[论文解读] Algorithmic Recourse in the Wild: Understanding the Impact of Data and Model Shifts

Kaivalya Rawal, Ece Kamar+1 more|arXiv (Cornell University)|Dec 22, 2020

Explainable Artificial Intelligence (XAI)参考文献 36被引用 8

一句话总结

本文研究了数据和模型漂移（如时间、地理空间以及数据修正引起的漂移）如何影响最先进反事实解释方法生成的算法可溯性（algorithmic recourses）的有效性。理论分析建立了由于模型更新导致的可溯性成本与失效概率之间的权衡关系，实证结果表明，在真实世界和合成数据集中，可溯性频繁失效，从而削弱了对决策系统的信任。

ABSTRACT

As predictive models are increasingly being deployed to make a variety of consequential decisions, there is a growing emphasis on designing algorithms that can provide recourse to affected individuals. Existing recourse algorithms function under the assumption that the underlying predictive model does not change. However, models are regularly updated in practice for several reasons including data distribution shifts. In this work, we make the first attempt at understanding how model updates resulting from data distribution shifts impact the algorithmic recourses generated by state-of-the-art algorithms. We carry out a rigorous theoretical and empirical analysis to address the above question. Our theoretical results establish a lower bound on the probability of recourse invalidation due to model shifts, and show the existence of a tradeoff between this invalidation probability and typical notions of "cost" minimized by modern recourse generation algorithms. We experiment with multiple synthetic and real world datasets, capturing different kinds of distribution shifts including temporal shifts, geospatial shifts, and shifts due to data correction. These experiments demonstrate that model updation due to all the aforementioned distribution shifts can potentially invalidate recourses generated by state-of-the-art algorithms. Our findings thus not only expose previously unknown flaws in the current recourse generation paradigm, but also pave the way for fundamentally rethinking the design and development of recourse generation algorithms.

研究动机与目标

• 研究数据和模型漂移对最先进反事实解释算法生成的可溯性有效性的影响。
• 识别在何种条件下，由于真实世界机器学习部署中的分布漂移，可溯性会失效。
• 分析在最小化可溯性成本与确保对数据漂移引起模型更新的鲁棒性之间的权衡。
• 评估在各种类型的分布漂移下，稀疏与因果基础可溯性生成方法的鲁棒性。
• 挑战当前可溯性生成算法在动态真实世界环境中产生可靠、长期推荐的假设。

提出的方法

• 理论分析推导出由于数据漂移导致的模型更新，可溯性失效概率存在非零下界，尤其在稀疏反事实生成情况下。
• 实证评估使用来自刑事司法、教育和信用评分等领域的多个真实世界数据集，模拟时间、地理空间以及数据修正引起的分布漂移。
• 构建合成数据集以精确控制分布漂移，通过调节目标函数或预测器均值的参数，研究可溯性失效的敏感性。
• 在不同漂移类型和幅度下，评估两种最先进可溯性生成算法——AR（基于数据支持）和CFE（因果可溯性）——的表现。
• 通过在漂移后的数据分布上重新训练模型来模拟模型更新，并通过检查原始反事实在更新后模型下是否仍能产生期望预测来衡量可溯性有效性。
• 敏感性分析量化了漂移幅度增加与不同漂移情景下可溯性失效率上升之间的相关性。

实验结果

研究问题

• RQ1 时间、地理空间或数据修正引起的分布漂移在多大程度上会使最先进算法可溯性方法生成的可溯性失效？
• RQ2 在最小化可溯性成本与确保对数据漂移引起模型更新的鲁棒性之间，是否存在根本性的权衡？
• RQ3 基于因果关系的可溯性生成方法是否比稀疏或基于数据支持的方法对模型更新更具韧性？
• RQ4 分布漂移的幅度与可溯性失效率之间有何相关性？
• RQ5 我们能否在已知扰动水平下，理论上界定由于模型更新导致的可溯性失效最小概率？

主要发现

• 由于数据分布漂移引起模型更新，可溯性失效概率存在非零下界，表明在某些条件下失效是固有不可避免的。
• 随着分布漂移幅度的增加，可溯性失效程度上升，在特定漂移条件下，高达100%的可溯性会失效，尤其是在某些方向上移动预测器或目标时。
• 即使被认为是更具鲁棒性的因果基础可溯性生成方法，在分布漂移引起模型更新时也容易失效。
• 基于数据支持的可溯性（如AR）并非在所有情况下都比稀疏反事实更鲁棒；在某些漂移情景下，其失效率更高，表明其可预测性较低且风险更高。
• 已正式建立最小化可溯性成本与最大化对模型更新鲁棒性之间的权衡，表明低成本可溯性在本质上更容易失效。
• 在多样化的真实世界数据集上的实证结果证实，所有类型的分布漂移——时间、地理空间以及数据修正——均可能导致可溯性失效，从而削弱了对人工智能决策系统的信任。