[논문 리뷰] Probabilistically Robust Recourse: Navigating the Trade-offs between Costs and Robustness in Algorithmic Recourse

Martin Pawelczyk, Teresa Datta외 3명|arXiv (Cornell University)|2022. 03. 13.

Privacy-Preserving Technologies in Data인용 수 13

한 줄 요약

이 논문은 알고리즘적 복구에서 비용과 강건성 사이의 트레이드오프를 조절할 수 있도록 사용자가 소규모 입력 변형에 대한 원하는 복구 무효화 비율을 지정함으로써, 새로운 알고리즘적 프레임워크 PROBE를 소개한다. 확률적 강건성 목표를 수립하고 선형 및 트리 기반 모델에서 무효화 비율에 대한 닫힌 형태의 표현식을 유도함으로써, PROBE는 낮은 구현 비용과 사용자가 정의한 강건성 사이의 균형을 이루는 복구를 생성한다. 이는 비용과 강건성 트레이드오프 측면에서 이전 방법들을 능가한다.

ABSTRACT

As machine learning models are increasingly being employed to make consequential decisions in real-world settings, it becomes critical to ensure that individuals who are adversely impacted (e.g., loan denied) by the predictions of these models are provided with a means for recourse. While several approaches have been proposed to construct recourses for affected individuals, the recourses output by these methods either achieve low costs (i.e., ease-of-implementation) or robustness to small perturbations (i.e., noisy implementations of recourses), but not both due to the inherent trade-offs between the recourse costs and robustness. Furthermore, prior approaches do not provide end users with any agency over navigating the aforementioned trade-offs. In this work, we address the above challenges by proposing the first algorithmic framework which enables users to effectively manage the recourse cost vs. robustness trade-offs. More specifically, our framework Probabilistically ROBust rEcourse ( exttt{PROBE}) lets users choose the probability with which a recourse could get invalidated (recourse invalidation rate) if small changes are made to the recourse i.e., the recourse is implemented somewhat noisily. To this end, we propose a novel objective function which simultaneously minimizes the gap between the achieved (resulting) and desired recourse invalidation rates, minimizes recourse costs, and also ensures that the resulting recourse achieves a positive model prediction. We develop novel theoretical results to characterize the recourse invalidation rates corresponding to any given instance w.r.t. different classes of underlying models (e.g., linear models, tree based models etc.), and leverage these results to efficiently optimize the proposed objective. Experimental evaluation with multiple real world datasets demonstrates the efficacy of the proposed framework.

연구 동기 및 목표

• 기계학습 의사결정 시스템에서 저비용과 강건성 사이의 본질적 트레이드오프를 해결하기 위해.
• 소음이 있는 구현 조건에서 복구의 강건성을 사용자가 명시적으로 제어할 수 있도록 제공하기 위해.
• 복구 비용을 최소화하고 목표 무효화 비율을 달성하며, 양성 모델 예측을 보장하는 통합 프레임워크를 개발하기 위해.
• 선형 및 트리 기반 모델에서 가우시안 노이즈 하에서 복구 무효화 비율에 대한 이론적 표현식을 유도하기 위해.
• 실제 구현에서 실행 가능성과 신뢰성의 균형을 이루는 실용적이고 사용자 중심의 복구 생성을 가능하게 하기 위해.

제안 방법

• 달성된 무효화 비율과 목표 무효화 비율 사이의 격차, 복구 비용, 그리고 양성 모델 예측을 동시에 최소화하는 새로운 목표 함수를 제안한다.
• 표준 정규분포의 누적분포함수를 사용하여, 등방성 가우시안 노이즈 하에서 선형 모델에 대한 무효화 비율에 대한 닫힌 형태의 표현식을 유도한다.
• 트리 기반 모델로 분석을 확장하기 위해, 트리의 분할로 정의된 결정 영역에서 다변량 가우시안의 적분을 사용하여 변형된 입력에 대한 기대 모델 출력을 계산한다.
• 이론적 무효화 비율 표현식을 활용하여 기울기 기반 방법을 통해 복구 생성 목표를 효율적으로 최적화한다.
• 소규모 입력 변형 하에서 복구가 무효화될 수 있는 허용 가능한 확률을 나타내는 사용자 지정 파라미터를 도입하여, 개인화된 강건성 수준을 가능하게 한다.
• 적대적 강건성의 일반화로서 복구 설정에 적용 가능한 확률적 강건성 공식을 활용하여, 비용과 신뢰성 사이의 트레이드오프를 허용한다.

실험 결과

연구 질문

• RQ1 소규모 입력 변형 하에서 원하는 무효화 비율을 지정함으로써 사용자가 복구의 강건성을 명시적으로 제어할 수 있는 프레임워크를 설계할 수 있는가?
• RQ2 선형 및 트리 기반 모델에서 가우시안 노이즈 하에서 복구 비용, 모델 아키텍처, 강건성 사이의 이론적 관계는 무엇인가?
• RQ3 복구 비용을 최소화하고 목표 무효화 비율을 달성하며, 양성 모델 예측을 보장하는 통합 목표 함수를 어떻게 구성할 수 있는가?
• RQ4 제안된 프레임워크는 다양한 실제 데이터셋에서 기존 복구 방법에 비해 비용과 강건성의 균형을 얼마나 잘 달성하는가?
• RQ5 실제로 다양한 사용자 지정 무효화 비율은 결과 복구 비용과 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크 PROBE는 사용자가 원하는 복구 무효화 비율을 지정할 수 있도록 하여, 비용-강건성 트레이드오프에 대한 세밀한 제어를 가능하게 한다.
• 선형 모델의 경우, 무효화 비율에 대한 닫힌 형태의 표현식 $1 - \Phi\left(\frac{s}{\sigma\|\nabla f(\mathbf{x})\|_2}\right)$ 를 도출하여 정확한 최적화를 가능하게 한다.
• 트리 기반 모델의 경우, 무효화 비율은 $1 - \sum_{R \in \mathcal{R}_{\mathcal{F}}} c_{\mathcal{F}}(R) \prod_{j \in \mathcal{S}_{\mathcal{F}}} \left[ \Phi\left(\frac{\bar{t}_{j,R} - \check{x}_{E,j}}{\sigma_j}\right) - \Phi\left(\frac{\underline{t}_{j,R} - \check{x}_{E,j}}{\sigma_j}\right) \right]$ 로 계산되며, 이는 최적화에 실용적인 목표를 제공한다.
• 다양한 실제 데이터셋에 대한 실험적 평가 결과, PROBE는 최첨단 방법보다 비용이 낮고 더 강건한 복구를 생성함을 입증하였다. 이는 사용자가 지정한 강건성 수준을 충족한다.
• 이론적 보장과 실험 결과를 통해, 프레임워크는 높은 정확도로 목표 무효화 비율을 달성한다.
• PROBE는 중간 수준의 강건성(예: 그림 1b의 중간 비용 및 중간 강건성)을 제공함으로써, 이전 방법들이 저비용/저강건성 또는 고비용/고강건성 복구만 생성하는 데 남아 있던 격차를 메운다.