[논문 리뷰] Can I Still Trust You?: Understanding the Impact of Distribution Shifts on Algorithmic Recourses.

Kaivalya Rawal, Ece Kamar외 1명|arXiv (Cornell University)|2020. 12. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 31인용 수 13

한 줄 요약

이 논문은 시간적, 지리적, 데이터 보정 변화와 같은 분포 이동 상황에서 알고리즘적 복구 수단이 여전히 유효한지 조사한다. 기존 최고 수준의 복구 생성 방법들이 분포가 변화할 경우 복구 수단이 무효화되는 경향이 있음을 입증하며, 복구 수단 무효화 확률에 대한 이론적 하한을 설정하고, 복구 수단 유효성과 비용 최소화 간의 근본적인 상충관계를 드러낸다.

ABSTRACT

As predictive models are being increasingly deployed to make a variety of consequential decisions ranging from hiring decisions to loan approvals, there is growing emphasis on designing algorithms that can provide reliable recourses to affected individuals. In this work, we assess the reliability of algorithmic recourses through the lens of distribution shifts i.e., we study if the recourses generated by state-of-the-art algorithms are robust to distribution shifts. To the best of our knowledge, this work makes the first attempt at addressing this critical question. We experiment with multiple synthetic and real world datasets capturing different kinds of distribution shifts including temporal shifts, geospatial shifts, and shifts due to data corrections. Our results demonstrate that all the aforementioned distribution shifts could potentially invalidate the recourses generated by state-of-the-art algorithms. Our theoretical results establish a lower bound on the probability of recourse invalidation due to distribution shifts, and show the existence of a tradeoff between this invalidation probability and typical notions of cost minimized by modern recourse generation algorithms. Our findings not only expose fundamental flaws in recourse finding strategies but also pave new way for rethinking the design and development of recourse generation algorithms.

연구 동기 및 목표

• 시간적, 지리적, 데이터 보정 이동과 같은 다양한 분포 이동 상황에서 알고리즘적 복구 수단의 내성에 대한 평가.
• 기본 데이터 분포가 시간이나 지역에 따라 변화할 경우, 최첨단 알고리즘으로 생성된 복구 수단이 여전히 유효한지 조사.
• 정적 데이터 분포를 가정하는 현재의 복구 생성 전략에 내재된 근본적 한계를 규명.
• 분포 이동으로 인한 복구 수단 무효화 확률에 대한 이론적 하한 설정.
• 기존 복구 알고리즘의 비용 최소화 목표와 복구 수단 유효성 간의 상충관계 탐색.

제안 방법

• 연구는 제어된 분포 이동 조건 하에서 합성 및 실세계 데이터셋을 대상으로 최첨단 복구 생성 알고리즘을 평가한다.
• 시간 이동(예: 다른 시점에 수집된 데이터), 지리적 이동(예: 다른 지역의 데이터), 데이터 보정 이동(예: 수정된 레이블 또는 특성) 등을 포함한 분포 이동을 시뮬레이션한다.
• 이론적 분석을 통해 분포 이동으로 인한 복구 수단 무효화 확률에 대한 하한을 유도한다.
• 분석 결과, 현재 알고리즘에서 정의한 복구 수단의 비용과 무효화 확률 간의 상충관계가 드러난다.
• 실험적 평가를 통해 다양한 데이터셋과 이동 유형에서 분포 이동 전후 복구 수단 유효성의 변화를 비교한다.
• 프레임워크는 복구 수단의 내성과 데이터 분포 이동에 따른 유효성 민감도를 평가한다.

실험 결과

연구 질문

• RQ1 분포 이동 상황에서 최첨단 복구 알고리즘으로 생성된 복구 수단이 얼마나 무효화되는가?
• RQ2 시간적, 지리적, 데이터 보정 이동과 같은 다양한 유형의 분포 이동이 알고리즘적 복구 수단 유효성에 어떤 영향을 미치는가?
• RQ3 분포 이동으로 인한 복구 수단 무효화 확률에 대한 이론적 하한이 존재하는가?
• RQ4 현재 복구 생성 알고리즘의 비용 최소화 목표와 복구 수단 유효성 간의 상충관계는 무엇인가?
• RQ5 복구 생성 과정에서 분포 이동을 명시적으로 고려함으로써 복구 수단의 내성을 향상시킬 수 있는가?

주요 결과

• 시험된 모든 분포 이동—시간적, 지리적, 데이터 보정 이동—은 최첨단 알고리즘으로 생성된 복구 수단을 무효화할 수 있다.
• 이론적 분석을 통해 분포 이동으로 인한 복구 수단 무효화 확률에 대해 0이 아닌 하한이 설정된다.
• 현재 알고리즘이 최소화하는 복구 수단 비용과 복구 수단 무효화 확률 간에 근본적인 상충관계가 존재한다.
• 특정 분포 하에서 최적의 복구 수단이라도 기저 데이터 분포가 이동하면 유효하지 않을 수 있다.
• 현재 복구 생성 전략이 정적 또는 불변 데이터 분포를 가정한다는 점에서 잠재적인 심각한 결함을 드러낸다.
• 결과는 복구 생성 알고리즘의 재고찰이 필요하며, 분포 이동에 대한 내성을 명시적으로 고려해야 한다는 점을 시사한다.