[논문 리뷰] Algorithmic Recourse in the Wild: Understanding the Impact of Data and Model Shifts

Kaivalya Rawal, Ece Kamar외 1명|arXiv (Cornell University)|2020. 12. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 36인용 수 8

한 줄 요약

이 논문은 최신의 역방향 설명 방법이 생성한 알고리즘적 복구 조치의 타당성에 영향을 미치는 데이터 및 모델의 변화—예를 들어 시간적, 지리적, 데이터 보정으로 인한 변화—를 조사한다. 이는 이론적으로 모델 업데이트로 인한 무효화 확률과 복구 비용 사이의 상충 관계를 수립하며, 실증적으로는 실제 및 합성 데이터셋을 통해 복구 조치가 자주 무효화됨을 입증함으로써 의사결정 시스템에 대한 신뢰를 훼손한다.

ABSTRACT

As predictive models are increasingly being deployed to make a variety of consequential decisions, there is a growing emphasis on designing algorithms that can provide recourse to affected individuals. Existing recourse algorithms function under the assumption that the underlying predictive model does not change. However, models are regularly updated in practice for several reasons including data distribution shifts. In this work, we make the first attempt at understanding how model updates resulting from data distribution shifts impact the algorithmic recourses generated by state-of-the-art algorithms. We carry out a rigorous theoretical and empirical analysis to address the above question. Our theoretical results establish a lower bound on the probability of recourse invalidation due to model shifts, and show the existence of a tradeoff between this invalidation probability and typical notions of "cost" minimized by modern recourse generation algorithms. We experiment with multiple synthetic and real world datasets, capturing different kinds of distribution shifts including temporal shifts, geospatial shifts, and shifts due to data correction. These experiments demonstrate that model updation due to all the aforementioned distribution shifts can potentially invalidate recourses generated by state-of-the-art algorithms. Our findings thus not only expose previously unknown flaws in the current recourse generation paradigm, but also pave the way for fundamentally rethinking the design and development of recourse generation algorithms.

연구 동기 및 목표

• 최신의 역방향 설명 알고리즘에 의해 생성된 알고리즘적 복구 조치의 타당성에 데이터 및 모델의 이동이 미치는 영향을 조사하는 것.
• 실세계 기계학습 배포 환경에서 분포 이동으로 인해 복구 조치가 무효화되는지 여부와 그 조건을 규명하는 것.
• 데이터 이동으로 인한 모델 업데이트에 대한 강건성 확보와 복구 비용 최소화 사이의 상충 관계를 분석하는 것.
• 다양한 유형의 분포 이동 하에서 희소성 및 인과 기반 복구 조치 생성 방법의 강건성 평가.
• 현재 복구 조치 생성 알고리즘이 동적인 실세계 환경에서 신뢰할 수 있고 장기적인 권고를 제공한다는 가정을 도전하는 것.

제안 방법

• 이론적 분석을 통해 데이터 이동, 특히 희소 역방향 생성에서 복구 조치 무효화 확률에 대한 0이 아닌 하한값을 도출한다.
• 실증적 평가에서는 범죄 정의, 교육, 신용 평가 등 다양한 분야의 실제 데이터셋을 활용해 시간적, 지리적, 데이터 보정으로 인한 분포 이동을 시뮬레이션한다.
• 정확한 분포 이동을 제어하기 위해 합성 데이터셋을 구축하며, 목표 함수나 예측자 평균을 이동시키는 데 사용되는 파라미터를 포함한다.
• 두 가지 최신의 복구 조치 생성 알고리즘—AR(데이터 지원 기반) 및 CFE(인과 복구 조치)—를 다양한 이동 유형과 강도에서 평가한다.
• 모델 업데이트는 이동된 데이터 분포로 재학습하여 시뮬레이션하며, 복구 조치의 타당성은 업데이트된 모델 하에서 원래의 역방향 조치가 여전히 원하는 예측을 내보내는지 여부로 측정한다.
• 민감도 분석을 통해 이동 강도 증가와 다양한 이동 시나리오에서 복구 조치 무효화 비율 상승 간의 상관관계를 정량화한다.

실험 결과

연구 질문

• RQ1 시간적, 지리적, 또는 데이터 보정으로 인한 분포 이동이 최신 알고리즘적 복구 조치 생성 방법이 생성한 복구 조치를 어느 정도 무효화하는가?
• RQ2 데이터 이동으로 인한 모델 업데이트에 대한 강건성 확보와 복구 비용 최소화 사이에 본질적인 상충 관계가 존재하는가?
• RQ3 인과 기반 복구 조치 생성 방법은 희소성 또는 데이터 지원 기반 접근보다 더 강건한가?
• RQ4 분포 이동의 강도는 복구 조치 무효화 비율과 어떻게 관련이 있는가?
• RQ5 기존의 편향 수준에서 모델 이동으로 인한 복구 조치 무효화 최소 확률을 이론적으로 경계할 수 있는가?

주요 결과

• 데이터 분포 이동으로 인한 모델 업데이트로 인한 복구 조치 무효화 확률에 대해 0이 아닌 하한값이 존재하며, 이는 특정 조건 하에서는 무효화가 본질적으로 피할 수 없음을 시사한다.
• 분포 이동의 강도가 증가할수록 복구 조치 무효화가 증가하며, 특정 이동 조건에서는 복구 조치의 100%가 무효화될 수 있다. 특히 예측자나 목표를 특정 방향으로 이동할 경우 더욱 심각하다.
• 더 강건하다고 여겨지는 인과 기반 복구 조치 생성 방법조차도 분포 이동으로 인한 모델 업데이트로 인해 무효화될 수 있음을 확인하였다.
• 데이터 지원 기반 복구 조치(예: AR)가 희소 역방향 조치보다 항상 더 강건한 것은 아니며, 일부 이동 시나리오에서는 더 높은 무효화 비율을 보이며, 이는 예측 불가능성과 더 높은 위험을 암시한다.
• 복구 비용 최소화와 모델 업데이트에 대한 강건성 최대화 사이의 상충 관계가 공식적으로 입증되었으며, 이는 저비용 복구 조치가 본질적으로 더 무효화되기 쉬운 경향이 있음을 시사한다.
• 다양한 실제 데이터셋에서의 실증 결과는 시간적, 지리적, 데이터 보정 유형의 모든 분포 이동이 복구 조치를 무효화할 수 있음을 확인하며, AI 의사결정 시스템에 대한 신뢰를 훼손한다.