[논문 리뷰] Assessing Disparate Impact of Personalized Interventions: Identifiability and Bounds

Nathan Kallus, Angela Zhou|arXiv (Cornell University)|2019. 01. 01.

Advanced Causal Inference Techniques인용 수 6

한 줄 요약

이 논문은 관찰되지 않는 반사적 결과가 존재하는 상황에서도 개인화된 간섭의 차별적 영향을 감시하기 위한 프레임워크를 제안한다. 단조성 처리 반응 가정 하에서 진정한 양성률과 같은 공정성 지표의 점 식별이 가능하며, 이 가정이 성립하지 않을 경우 ROC 및 xROC 곡선을 사용하여 날카운 부분 식별 경계를 제공한다. 이는 프랑스 직업 훈련 데이터셋을 대상으로 검증되었다.

ABSTRACT

Personalized interventions in social services, education, and healthcare leverage individual-level causal effect predictions in order to give the best treatment to each individual or to prioritize program interventions for the individuals most likely to benefit. While the sensitivity of these domains compels us to evaluate the fairness of such policies, we show that actually auditing their disparate impacts per standard observational metrics, such as true positive rates, is impossible since ground truths are unknown. Whether our data is experimental or observational, an individual's actual outcome under an intervention different than that received can never be known, only predicted based on features. We prove how we can nonetheless point-identify these quantities under the additional assumption of monotone treatment response, which may be reasonable in many applications. We further provide a sensitivity analysis for this assumption via sharp partial-identification bounds under violations of monotonicity of varying strengths. We show how to use our results to audit personalized interventions using partially-identified ROC and xROC curves and demonstrate this in a case study of a French job training dataset.

연구 동기 및 목표

• 반사적 결과가 관찰되지 않을 때 개인화된 간섭의 공정성 감시 문제를 해결하기 위해.
• 진정한 양성률과 같은 표준 공정성 지표가 반사적 결과가 관찰되지 않는 상황에서도 점식별 가능한 조건을 규명하기 위해.
• 단조성 처리 반응 가정의 위반에 대한 민감도 분석을 날카운 부분 식별 경계를 통해 제공하기 위해.
• 부분적으로 식별된 ROC 및 xROC 곡선을 사용해 실용적인 공정성 감시 도구를 개발하기 위해.
• 프랑스의 직업 훈련 프로그램에 대한 사례 연구를 통해 방법의 실용성을 입증하기 위해.

제안 방법

• 진정한 양성률과 같은 공정성 지표의 점식별을 가능하게 하기 위해 단조성 처리 반응 가정을 도입한다.
• 단조성의 위반 정도에 따라 다양한 수준의 위반 강도를 고려하여 공정성 지표의 날카운 부분 식별 경계를 유도한다.
• 부분적으로 식별된 설정에 적합하게 ROC 및 확장된 ROC(xROC) 곡선을 변형하여 공정성의 상충관계를 시각화한다.
• 개별 수준의 특성과 예측된 치료 효과를 활용해 하위군 간 결과 격차의 경계를 추정한다.
• 다양한 간섭 조건 하에서 잠재 결과를 모델링하여 관찰 데이터에 프레임워크를 적용한다.
• 단조성의 위반에 대한 민감도 분석을 통해 공정성 결론의 탄력성을 평가한다.

실험 결과

연구 질문

• RQ1 반사적 결과가 관찰되지 않을 때도 진정한 양성률과 같은 공정성 지표를 점식별할 수 있는가?
• RQ2 단조성 처리 반응 가정의 위반에 대해 공정성 결론은 얼마나 민감한가?
• RQ3 단조성 위반의 강도가 다양한 경우에 대해 공정성 지표의 날카운 부분 식별 경계는 무엇인가?
• RQ4 ROC 및 xROC 곡선은 부분 식별 상황에서 어떻게 공정성을 표현하기 위해 적응시킬 수 있는가?
• RQ5 이 프레임워크는 실생활의 개인화된 간섭, 예를 들어 직업 훈련 프로그램에 얼마나 널리 적용될 수 있는가?

주요 결과

• 단조성 처리 반응 가정 하에서는 반사적 결과가 관찰되지 않더라도 진정한 양성률과 같은 공정성 지표를 점식별할 수 있다.
• 단조성이 위반될 경우, 공정성 지표의 불확실성을 정량화하는 날카운 부분 식별 경계를 제공한다.
• 이 프레임워크를 통해 부분적으로 식별된 ROC 및 xROC 곡선을 구성할 수 있으며, 이는 불확실성 하에서의 공정성 상충관계를 시각화한다.
• 프랑스의 직업 훈련 데이터셋에 대한 사례 연구는 이 방법이 실생활 사회 서비스 간섭에 실제로 적용 가능한 것을 보여준다.
• 민감도 분석을 통해 단조성의 위반에 대한 공정성 결론의 탄력성이 드러나 결과의 신중한 해석을 뒷받침한다.
• 기존 관찰 기반 공정성 지표가 본질적으로 식별 불가능한 상황에서도 이 접근법은 감시 가능한 공정성 평가를 가능하게 한다.