[논문 리뷰] Fairness in Risk Assessment Instruments: Post-Processing to Achieve Counterfactual Equalized Odds

Alan Mishler, Edward H. Kennedy외 1명|arXiv (Cornell University)|2020. 09. 07.

Ethics and Social Impacts of AI참고 문헌 44인용 수 9

한 줄 요약

이 논문은 위험 평가 도구(RAIs)에서 반사적 등가된 우도 공정성을 달성하기 위한 후처리 방법을 제안한다. 이는 이중으로 강건한 추정기(doubly robust estimators)를 사용하여 기존 예측기의 예측값을 조정한다. 이 방법은 관측 가능한 결과가 아닌 잠재적 결과를 대상으로 하여 공정성을 확보하며, 높은 위험을 수반하는 의사결정 환경에서 관측 기반 공정성 기준보다 뛰어난 속도로 최적의 공정 예측기로 수렴한다.

ABSTRACT

In domains such as criminal justice, medicine, and social welfare, decision makers increasingly have access to algorithmic Risk Assessment Instruments (RAIs). RAIs estimate the risk of an adverse outcome such as recidivism or child neglect, potentially informing high-stakes decisions such as whether to release a defendant on bail or initiate a child welfare investigation. It is important to ensure that RAIs are fair, so that the benefits and harms of such decisions are equitably distributed. The most widely used algorithmic fairness criteria are formulated with respect to observable outcomes, such as whether a person actually recidivates, but these criteria are misleading when applied to RAIs. Since RAIs are intended to inform interventions that can reduce risk, the prediction itself affects the downstream outcome. Recent work has argued that fairness criteria for RAIs should instead utilize potential outcomes, i.e. the outcomes that would occur in the absence of an appropriate intervention. However, no methods currently exist to satisfy such fairness criteria. In this paper, we target one such criterion, counterfactual equalized odds. We develop a post-processed predictor that is estimated via doubly robust estimators, extending and adapting previous post-processing approaches to the counterfactual setting. We also provide doubly robust estimators of the risk and fairness properties of arbitrary fixed post-processed predictors. Our predictor converges to an optimal fair predictor at fast rates. We illustrate properties of our method and show that it performs well on both simulated and real data.

연구 동기 및 목표

• 관측 가능한 결과에 기반한 관측 기반 공정성 기준의 한계를 해결하기 위해, 이는 간섭이 위험에 영향을 주는 경우 오해의 소지가 있을 수 있다.
• 무엇보다도, 치료 없이도 발생할 수 있는 잠재적 결과를 고려하는 대체로 반사적 등가된 우도 공정성이라는 새로운 공정성 기준을 제안한다.
• 기존 예측기를 반사적 등가된 우도 공정성을 만족하는 예측기로 변환하는 후처리 프레임워크를 개발한다.
• 후처리된 예측기의 수렴 속도에 대한 이론적 보장을 제공하며, 이는 부수적 파라미터 추정에 의존한다.
• 모의 및 실제 데이터(아동 복지 및 형사 사법 데이터셋 포함)를 통한 실증 성능을 입증한다.

제안 방법

• 이 방법은 치료 없이도 발생할 수 있는 잠재적 결과에 기반한 반사적 등가된 우도 공정성(cEO)을 공정성 기준으로 정의한다.
• cEO 제약 조건을 만족하는 손실 최적의 후처리 예측기를 계산하기 위해 선형 프로그래밍을 수립한다.
• 부수적 파라미터(예: 결과 모델 및 성향 점수 모델)를 추정하기 위해 이중으로 강건한 추정기를 사용하여, 적어도 하나의 모델이 올바르게 특정되면 일관성이 보장된다.
• 후처리된 예측기는 런타임에 민감한 특성과 원래 예측기의 정보만을 사용하므로, 기존 RAIs에 쉽게 통합할 수 있다.
• 이전의 후처리 방법(Hardt 등, 2016)을 관측 가능한 결과가 아닌 잠재적 결과 기반의 반사적 설정으로 확장한다.
• 이론적 분석을 통해 예측기가 부수적 추정기의 수렴에 따라 빠른 속도로 최적의 공정 예측기로 수렴함을 보여준다.

Figure 1. Counterfactual true positive rates (cTPRs; solid lines) for a RAI satisfying observational equalized odds (oEO), as a function of the intervention strength $\mathbb{P}(Y^{1}=0\mid Y^{0}=1)$ . Dashed lines indicate opportunity rates $\mathbb{P}(D=1\mid Y^{0}=0)$ prior to the development of

실험 결과

연구 질문

• RQ1 위험 예측의 진정한 목적을 반영하기 위해, 관측 가능한 결과가 아닌 잠재적 결과 기반으로 RAIs의 공정성 기준을 의미 있게 재정의할 수 있는가?
• RQ2 재학습 또는 내재화 없이도 반사적 등가된 우도 공정성을 강제할 수 있는 후처리 방법을 개발할 수 있는가?
• RQ3 이중으로 강건한 프레임워크에서 부수적 모델 추정의 정확도에 따라 후처리 예측기의 수렴 속도는 어떻게 달라지는가?
• RQ4 실제 의사결정 시스템에서, 제안된 방법이 관측 기반 공정성 기준보다 차별적 이질적 영향을 줄이는 데 더 효과적인가?
• RQ5 반사적 등가된 우도 공정성 기준 하에서 공정성과 예측 성능 사이의 상충 관계는 어떻게 나타나는가?

주요 결과

• 제안된 후처리 예측기는 잠재적 결과의 이중으로 강건한 추정치를 기반으로 예측값을 조정함으로써 약간의 반사적 등가된 우도 공정성을 달성한다.
• 이 방법은 부수적 파라미터 추정의 정확도에 따라 빠른 속도로 최적의 공정 예측기로 수렴하며, 수렴 속도가 빠르다.
• 모의 실험에서, 이 방법은 특히 거짓 양성 및 음성의 비용 비율이 중간 수준일 때 공정성과 성능을 효과적으로 균형 잡는다.
• 아동 복지 서비스의 실제 데이터에서, 이 방법은 기준 예측기와 비교해 전체 정확도에 큰 손실 없이 더 공정한 예측을 도출한다.
• 오류 비용 비율이 극단적이게 되면 후처리 분류기가 항상 0 또는 항상 1이 되는 임계점에 가까워지지만, 이는 입력 민감성에 대한 강건성을 시사한다.
• 이 방법은 기존 RAIs에 구현 가능한데, 추론 시점에 민감한 특성과 원래 예측기의 정보만 필요로 한다.

Figure 2. (Illustration of Theorems 4 - 7 ) . Loss $\text{L}(S_{\widehat{\theta}})$ and excess unfairness values $\operatorname{UF}^{\scriptscriptstyle+}(S_{\widehat{\theta}}),\operatorname{UF}^{\scriptscriptstyle-}(S_{\widehat{\theta}})$ for the derived predictor $S_{\widehat{\theta}}$ for samples