[论文解读] Probabilistically Robust Recourse: Navigating the Trade-offs between Costs and Robustness in Algorithmic Recourse

Martin Pawelczyk, Teresa Datta+3 more|arXiv (Cornell University)|Mar 13, 2022

Privacy-Preserving Technologies in Data被引用 13

一句话总结

本文提出了 PROBE，一种新颖的算法性补救（algorithmic recourse）算法框架，通过指定在小输入扰动下的期望补救失效率，使用户能够显式控制补救成本与鲁棒性之间的权衡。通过构建概率鲁棒性目标，并推导出线性模型与树基模型下失效率的闭式表达式，PROBE 生成的补救方案在实现成本较低的同时满足用户定义的鲁棒性要求，在成本与鲁棒性的权衡上优于先前方法。

ABSTRACT

As machine learning models are increasingly being employed to make consequential decisions in real-world settings, it becomes critical to ensure that individuals who are adversely impacted (e.g., loan denied) by the predictions of these models are provided with a means for recourse. While several approaches have been proposed to construct recourses for affected individuals, the recourses output by these methods either achieve low costs (i.e., ease-of-implementation) or robustness to small perturbations (i.e., noisy implementations of recourses), but not both due to the inherent trade-offs between the recourse costs and robustness. Furthermore, prior approaches do not provide end users with any agency over navigating the aforementioned trade-offs. In this work, we address the above challenges by proposing the first algorithmic framework which enables users to effectively manage the recourse cost vs. robustness trade-offs. More specifically, our framework Probabilistically ROBust rEcourse ( exttt{PROBE}) lets users choose the probability with which a recourse could get invalidated (recourse invalidation rate) if small changes are made to the recourse i.e., the recourse is implemented somewhat noisily. To this end, we propose a novel objective function which simultaneously minimizes the gap between the achieved (resulting) and desired recourse invalidation rates, minimizes recourse costs, and also ensures that the resulting recourse achieves a positive model prediction. We develop novel theoretical results to characterize the recourse invalidation rates corresponding to any given instance w.r.t. different classes of underlying models (e.g., linear models, tree based models etc.), and leverage these results to efficiently optimize the proposed objective. Experimental evaluation with multiple real world datasets demonstrates the efficacy of the proposed framework.

研究动机与目标

• 解决机器学习决策系统中低代价与鲁棒性补救之间的固有权衡问题。
• 通过指定在噪声实施条件下期望的补救失效率，使终端用户能够显式控制补力的鲁棒性。
• 开发一个统一框架，同时最小化补救成本、实现目标失效率，并确保模型预测为正。
• 推导线性模型与树基模型在高斯扰动下补救失效率的理论表达式。
• 实现实际中由用户驱动的补救生成，平衡可行性与现实部署中的可靠性。

提出的方法

• 提出一种新型目标函数，联合最小化实际与目标失效率之间的差距、补救成本，并确保模型预测为正。
• 利用标准正态分布的累积分布函数，推导出在线性模型中在各向同性高斯噪声下补救失效率的闭式表达式。
• 通过在树模型的决策区域上对多变量高斯分布进行积分，计算扰动输入下的期望模型输出，将分析扩展至树基模型。
• 利用理论推导的失效率表达式，通过基于梯度的方法高效优化补救生成目标。
• 引入一个用户指定的参数，表示在小输入扰动下补救失效的可接受概率，从而实现个性化的鲁棒性水平。
• 采用概率鲁棒性公式，将对抗鲁棒性推广至补救场景，支持在成本与可靠性之间进行权衡。

实验结果

研究问题

• RQ1 能否设计一个框架，使用户通过指定在小输入扰动下的期望失效率，显式控制算法补救的鲁棒性？
• RQ2 在线性与树基模型中，补救成本、模型架构与高斯噪声下的鲁棒性之间存在怎样的理论关系？
• RQ3 如何构建一个统一的目标函数，以同时最小化补救成本、实现目标失效率并确保正向模型预测？
• RQ4 所提出的框架在多种真实世界数据集中，能否在成本与鲁棒性之间实现更优的平衡，从而超越现有补救方法？
• RQ5 在实践中，不同用户指定的失效率如何影响最终补救的成本与鲁棒性？

主要发现

• 所提出的框架 PROBE 成功使用户能够指定期望的补救失效率，从而实现对成本-鲁棒性权衡的细粒度控制。
• 对于线性模型，论文推导出补救失效率的闭式表达式为 $1 - \Phi\left(\frac{s}{\sigma\|\nabla f(\mathbf{x})\|_2}\right)$，支持精确优化。
• 对于树基模型，失效率计算为 $1 - \sum_{R \in \mathcal{R}_{\mathcal{F}}} c_{\mathcal{F}}(R) \prod_{j \in \mathcal{S}_{\mathcal{F}}} \left[ \Phi\left(\frac{\bar{t}_{j,R} - \check{x}_{E,j}}{\sigma_j}\right) - \Phi\left(\frac{\underline{t}_{j,R} - \check{x}_{E,j}}{\sigma_j}\right) \right]$，提供了可计算的优化目标。
• 在多个真实世界数据集上的实证评估表明，PROBE 生成的补救在成本更低的同时也更具鲁棒性，且满足用户指定的鲁棒性水平。
• 该框架能够以高精度实现目标失效率，理论保证与实验结果均验证了这一点。
• PROBE 支持中等鲁棒性水平（例如，图1b所示的中等成本与中等鲁棒性），填补了现有方法仅生成低代价/低鲁棒性或高代价/高鲁棒性补救的空白。