[논문 리뷰] Causal Fairness Analysis

Drago Plečko, Elias Bareinboim|arXiv (Cornell University)|2022. 07. 23.

Ethics and Social Impacts of AI인용 수 13

한 줄 요약

이 논문은 관측된 데이터의 불균형을 원인 분석 가능한 메커니즘과 연결함으로써 인과적 공정성 분석의 근본 문제(Fundamental Problem of Causal Fairness Analysis, FPCFA)를 해결하는 인과적 공정성 프레임워크를 제안한다. Fairness Map—공정성 기준의 체계적 분류 체계—와 최소한의 인과적 가정을 수반하는 Fairness Cookbook을 제안하여, 교차 적합 및 머신러닝 기법을 활용한 이중 강건 추정을 통해 반사적 공정성의 강건한 추정을 가능하게 한다.

ABSTRACT

Decision-making systems based on AI and machine learning have been used throughout a wide range of real-world scenarios, including healthcare, law enforcement, education, and finance. It is no longer far-fetched to envision a future where autonomous systems will be driving entire business decisions and, more broadly, supporting large-scale decision-making infrastructure to solve society's most challenging problems. Issues of unfairness and discrimination are pervasive when decisions are being made by humans, and remain (or are potentially amplified) when decisions are made using machines with little transparency, accountability, and fairness. In this paper, we introduce a framework for extit{causal fairness analysis} with the intent of filling in this gap, i.e., understanding, modeling, and possibly solving issues of fairness in decision-making settings. The main insight of our approach will be to link the quantification of the disparities present on the observed data with the underlying, and often unobserved, collection of causal mechanisms that generate the disparity in the first place, challenge we call the Fundamental Problem of Causal Fairness Analysis (FPCFA). In order to solve the FPCFA, we study the problem of decomposing variations and empirical measures of fairness that attribute such variations to structural mechanisms and different units of the population. Our effort culminates in the Fairness Map, which is the first systematic attempt to organize and explain the relationship between different criteria found in the literature. Finally, we study which causal assumptions are minimally needed for performing causal fairness analysis and propose a Fairness Cookbook, which allows data scientists to assess the existence of disparate impact and disparate treatment.

연구 동기 및 목표

• 관측된 불균형이 그 원인을 이루는 비관측된 인과적 메커니즘과 연결되는 인과적 공정성 분석의 근본 문제(FPCFA)를 해결하기 위해.
• 문헌에 존재하는 다양한 공정성 기준 간의 관계를 체계적으로 정리하고 설명하는 프레임워크를 개발하기 위해.
• 실제 의사결정 시스템에서의 유효한 공정성 평가를 위해 필요한 최소한의 인과적 가정을 규명하기 위해.
• 데이터 과학자들이 실용적이고 해석 가능한 도구인 Fairness Cookbook을 통해 차별적 영향과 차별적 대응을 탐지할 수 있도록 하기 위해.
• 이중 기계학습 및 교차 적합 기법을 활용해 반사적 공정성의 강건하고 모델에 종속되지 않는 추정을 제공하기 위해.

제안 방법

• 차별적 대응과 차별적 영향의 법적 원칙에 기반한 인과적 프레임워크를 제안하며, 구조적 인과 모델과 반사적 개념을 활용해 수식화한다.
• 기존의 공정성 기준 간의 관계를 통합하고 명확히 하기 위해 Fairness Map를 도입한다.
• 공정성 평가에 필요한 최소한의 인과적 가정을 명시하는 Fairness Cookbook을 개발하여, 차별적 영향과 차별적 대응의 탐지 가능성을 높인다.
• 반사적 기대치에 대한 이중 강건 추정을 적용하여, 결과 회귀 모델 또는 성향 스코어 모델 중 하나만 정확히 특정되어도 일관성이 유지되도록 한다.
• 현대적 비-Donsker 기계학습 모델을 사용할 수 있도록, 이중 기계학습에서 교차 적합을 적용하여 루트-n 일관성과 타당한 추론을 달성한다.
• 고차원 또는 연속적인 매개변수 설정에서의 안정성과 성능을 향상시키기 위해, 고차원 매개변수의 밀도 추정을 직접 방지하는 수정된 ψ-기반 추정기법을 사용한다.

실험 결과

연구 질문

• RQ1 데이터에서 관측된 불균형은 의사결정 시스템 내 비관측된 구조적 메커니즘에 의해 어떻게 인과적으로 기인할 수 있는가?
• RQ2 AI 시스템에서 불공정성을 탐지하고 측정하기 위해 필요한 최소한의 인과적 가정은 무엇인가?
• RQ3 반사적 추론을 활용해 차별적 영향과 차별적 대응을 어떻게 체계적으로 정의하고 측정할 수 있는가?
• RQ4 현대 기계학습 모델을 공정성 분석에 사용할 때, 강건성과 타당성을 보장하는 추정 전략은 무엇인가?
• RQ5 공정성 기준을 어떻게 체계적으로 연결하고 시각화하여 공정성 평가의 해석 가능성과 일관성을 향상시킬 수 있는가?

주요 결과

• Fairness Map는 공정성 기준을 통합적으로 정리한 최초의 체계적 분류 체계로, 기준 간의 상호관계와 의존성을 명확히 한다.
• Fairness Cookbook은 데이터 과학자들이 최소한의 해석 가능한 인과적 가정을 바탕으로 차별적 영향과 차별적 대응의 존재 여부를 평가할 수 있도록 한다.
• 반사적 공정성에 대한 이중 강건 추정기는 결과 회귀 모델이나 성향 스코어 모델 중 하나만 잘못 지정되어도 여전히 일관성을 유지한다.
• 이중 기계학습에서 교차 적합을 적용함으로써, Donsker 클래스 조건을 완화함으로써 현대 기계학습 모델을 사용한 타당한 추론이 가능해진다.
• 수정된 ψ-기반 추정기는 고차원 매개변수의 직접적 밀도 추정을 피함으로써 복잡한 설정에서 안정성과 성능을 향상시킨다.
• faircause R 패키지는 제안된 교차 적합 및 이중 강건 추정 절차를 실무적 공정성 평가에 활용하기 위해 구현한다.