[论文解读] Can I Still Trust You?: Understanding the Impact of Distribution Shifts on Algorithmic Recourses.

Kaivalya Rawal, Ece Kamar+1 more|arXiv (Cornell University)|Dec 22, 2020

Explainable Artificial Intelligence (XAI)参考文献 31被引用 13

一句话总结

本文研究了在分布偏移（如时间、地理空间或数据修正偏移）下，算法性补救措施是否仍然有效，表明当前最先进的补救生成方法所生成的补救措施在分布发生变化时往往失效。本文建立了补救失效概率的理论下界，并揭示了补救有效性与成本最小化之间的根本权衡。

ABSTRACT

As predictive models are being increasingly deployed to make a variety of consequential decisions ranging from hiring decisions to loan approvals, there is growing emphasis on designing algorithms that can provide reliable recourses to affected individuals. In this work, we assess the reliability of algorithmic recourses through the lens of distribution shifts i.e., we study if the recourses generated by state-of-the-art algorithms are robust to distribution shifts. To the best of our knowledge, this work makes the first attempt at addressing this critical question. We experiment with multiple synthetic and real world datasets capturing different kinds of distribution shifts including temporal shifts, geospatial shifts, and shifts due to data corrections. Our results demonstrate that all the aforementioned distribution shifts could potentially invalidate the recourses generated by state-of-the-art algorithms. Our theoretical results establish a lower bound on the probability of recourse invalidation due to distribution shifts, and show the existence of a tradeoff between this invalidation probability and typical notions of cost minimized by modern recourse generation algorithms. Our findings not only expose fundamental flaws in recourse finding strategies but also pave new way for rethinking the design and development of recourse generation algorithms.

研究动机与目标

• 评估算法性补救在各种分布偏移（如时间、地理空间和数据修正偏移）下的鲁棒性。
• 研究由最先进的算法生成的补救措施在数据分布随时间或地理位置变化时是否仍保持有效。
• 识别当前补救生成策略中因假设数据分布静态而存在的根本局限性。
• 建立由于分布偏移导致补救失效概率的理论边界。
• 探索现有补救算法中补救有效性与成本最小化目标之间的权衡。

提出的方法

• 在受控分布偏移条件下，对合成数据集和真实世界数据集上的最先进的补救生成算法进行评估。
• 模拟包括时间偏移（例如，不同时期收集的数据）、地理空间偏移（例如，不同地区收集的数据）和数据修正偏移（例如，修正后的标签或特征）在内的分布偏移。
• 理论分析推导出由于分布偏移导致补救失效概率的下界。
• 分析揭示了该失效概率与现代补救算法所定义的补救成本之间的权衡。
• 通过多个数据集和偏移类型，对分布偏移前后补救的有效性进行实证评估。
• 该框架评估了补救的鲁棒性及其有效性对数据分布偏移的敏感性。

实验结果

研究问题

• RQ1 分布偏移在多大程度上使由最先进的补救算法生成的补救失效？
• RQ2 不同类型分布偏移（时间、地理空间和数据修正）如何影响算法性补救的有效性？
• RQ3 是否存在由于分布偏移导致补救失效概率的理论下界？
• RQ4 补救有效性与补救生成算法的成本最小化目标之间存在何种权衡？
• RQ5 在生成过程中显式考虑分布偏移是否能提高补救的鲁棒性？

主要发现

• 所有测试的分布偏移——时间、地理空间和数据修正——均可使最先进的算法生成的补救失效。
• 理论分析建立了由于分布偏移导致补救失效概率的非零下界。
• 补救失效概率与当前算法所最小化的补救成本之间存在根本性权衡。
• 即使在给定分布下最优的补救，当底层数据分布发生偏移时也可能不再有效。
• 研究结果暴露了当前补救生成策略中一个关键缺陷：假设数据分布静态或不变。
• 研究结果呼吁重新思考补救生成算法，以显式考虑分布偏移的鲁棒性。