[논문 리뷰] Promises and Challenges of Causality for Ethical Machine Learning

Aida Rahmattalabi, Alice Xiang|arXiv (Cornell University)|2022. 01. 26.

Advanced Causal Inference Techniques인용 수 4

한 줄 요약

이 논문은 잠재적 결과 모델 기반의 인과적 형평성 프레임워크를 제안하여 통계적 형평성 지표의 한계를 해결하고, 고정된 특성보다는 인식된 사회적 소속의 시기와 성격에 중점을 두어 제안된 형평성 지표의 한계를 해결한다. 합성 데이터와 실제 경찰 정찰 데이터를 통해 다양한 결정 단계에서의 인과 분석이 다양한 형평성 위반을 드러내며, 제안된 방법이 핵심 형평성 지표에서 편향을 제로로 유지하면서도 높은 정확도를 확보함을 입증한다.

ABSTRACT

In recent years, there has been increasing interest in causal reasoning for designing fair decision-making systems due to its compatibility with legal frameworks, interpretability for human stakeholders, and robustness to spurious correlations inherent in observational data, among other factors. The recent attention to causal fairness, however, has been accompanied with great skepticism due to practical and epistemological challenges with applying current causal fairness approaches in the literature. Motivated by the long-standing empirical work on causality in econometrics, social sciences, and biomedical sciences, in this paper we lay out the conditions for appropriate application of causal fairness under the "potential outcomes framework." We highlight key aspects of causal inference that are often ignored in the causal fairness literature. In particular, we discuss the importance of specifying the nature and timing of interventions on social categories such as race or gender. Precisely, instead of postulating an intervention on immutable attributes, we propose a shift in focus to their perceptions and discuss the implications for fairness evaluation. We argue that such conceptualization of the intervention is key in evaluating the validity of causal assumptions and conducting sound causal analysis including avoiding post-treatment bias. Subsequently, we illustrate how causality can address the limitations of existing fairness metrics, including those that depend upon statistical correlations. Specifically, we introduce causal variants of common statistical notions of fairness, and we make a novel observation that under the causal framework there is no fundamental disagreement between different notions of fairness. Finally, we conduct extensive experiments where we demonstrate our approach for evaluating and mitigating unfairness, specially when post-treatment variables are present.

연구 동기 및 목표

• 수동적 상관관계에 의존하고 기준 간 충돌을 일으키는 통계적 형평성 지표의 한계를 해결하기 위해.
• 타당한 가정과 간섭 시기의 명확화로 인과적 형평성에 대한 의심을 해소하기 위해.
• 고정된 사회적 소속에서 그 인식으로의 초점을 이동시켜 인과적 형평성 분석에서의 접근을 전환하기 위해.
• 치료 후 편향을 완화하고 실생활 결정 시스템에서의 인과적 형평성 평가의 타당성을 향상시키기 위해.
• 적절히 시기와 개념화된 간섭 조건에서 인과적 형평성 기준이 본질적으로 호환 가능함을 입증하기 위해.

제안 방법

• 가상의 간섭 조건 하에서의 반사적 형평성 정의를 위해 잠재적 결과 프레임워크를 채택한다.
• 고정된 특성(예: 출생 시 인종)에 대한 간섭과 그 인식(예: 결정 상황에서의 인식된 인종)에 대한 간섭을 구분한다.
• 다양한 시간적 단계(예: 경찰 정찰에서의 수색 대비 체포)에서의 간섭을 모델링하여 다중 결정 포인트에서의 형평성 평가를 수행한다.
• 2개의 은닉층을 갖는 신경망을 사용하여 반사적 조건 하에서 치료 후 변수(예: 수색 결과, 체포 여부)를 보간한다.
• 각 단계에서의 형평성 위반을 평가하기 위해 인과적 동등성 지표를 적용하고, 관찰된 결과와 반사적 결과를 비교한다.
• 간섭 조건에 따라 반사적 결과를 필터링한다(예: 수색이 발생하지 않은 경우 결과를 '결과 없음'으로 설정함).

실험 결과

연구 질문

• RQ1 민감한 속성이 고정되어 있어 조작이 불가능한 상황에서 인과적 형평성은 어떻게 의미 있게 적용될 수 있는가?
• RQ2 다단계 결정 시스템에서 간섭 시기가 인과적 형평성 평가에 어떤 영향을 미치는가?
• RQ3 인과적 형평성 모델링에서 사회적 소속의 인식은 그 속성 자체와 어떻게 다를 수 있는가?
• RQ4 인과적 형평성 지표는 통계적 형평성 기준 간의 본질적 충돌을 해결할 수 있는가?
• RQ5 치료 후 편향은 왜곡된 형평성 평가에 어떤 역할을 하는가? 이를 어떻게 방지할 수 있는가?

주요 결과

• 수색 단계에서 간섭을 시행한 결과, Black와 White 사이의 수색 비율에 5.5%의 편차가 드러났고, 체포 단계에서는 이 편차가 8.2%로 증가하였다.
• 체포 단계로 간섭 시기를 연기한 경우, 체포 비율의 편차는 3.9%로 감소하여 인과 분석에서 시기의 중요성을 입증하였다.
• 제안된 인과 모델은 ReW (-0.0258), PRem (-0.024), ROC (-0.028)에서 기준 모델 대비 편향이 제로를 기록하였다.
• 실생활 데이터셋에서 높은 정확도(0.768–0.933)를 유지하면서도, 인과적 접근은 모든 기준에서 통계적 형평성 지표를 능가하였다.
• 수색과 같은 초기 결정 단계에서의 차별적 영향을 고려할 경우, 인과적 동등성 위반은 크게 감소하였다.
• 적절한 인과 프레임워크 하에서 간섭 시기와 성격이 올바르게 명시된 경우, 다양한 형평성 기준이 본질적으로 상충되지 않음을 입증하였다.