[논문 리뷰] Survey on Causal-based Machine Learning Fairness Notions

Karima Makhlouf, Sami Zhioua외 1명|arXiv (Cornell University)|2020. 10. 19.

Ethics and Social Impacts of AI참고 문헌 38인용 수 40

한 줄 요약

본 논문은 인과 기반 공정성 개념을 고찰하고, 관찰 데이터로부터의 식별 가능성과 추정에 대해 논의하며, 적합한 개념을 선택하기 위한 지침과 Pearl의 인과 계단에 따른 랭킹을 제공합니다.

ABSTRACT

Addressing the problem of fairness is crucial to safely use machine learning algorithms to support decisions with a critical impact on people's lives such as job hiring, child maltreatment, disease diagnosis, loan granting, etc. Several notions of fairness have been defined and examined in the past decade, such as statistical parity and equalized odds. The most recent fairness notions, however, are causal-based and reflect the now widely accepted idea that using causality is necessary to appropriately address the problem of fairness. This paper examines an exhaustive list of causal-based fairness notions and study their applicability in real-world scenarios. As the majority of causal-based fairness notions are defined in terms of non-observable quantities (e.g., interventions and counterfactuals), their deployment in practice requires to compute or estimate those quantities using observational data. This paper offers a comprehensive report of the different approaches to infer causal quantities from observational data including identifiability (Pearl's SCM framework) and estimation (potential outcome framework). The main contributions of this survey paper are (1) a guideline to help selecting a suitable fairness notion given a specific real-world scenario, and (2) a ranking of the fairness notions according to Pearl's causation ladder indicating how difficult it is to deploy each notion in practice.

연구 동기 및 목표

• 관찰에 기반한 개념을 넘어 공정성을 다루기 위해 인과가 왜 필요한지 동기를 부여합니다.
• 인과 기반 공정성 개념에 대한 포괄적 검토를 제시합니다(19개 분석).
• 식별 가능성과 추정 프레임워크를 통해 관찰 데이터로부터 인과량을 추론하는 방법을 설명합니다.
• 실세계 시나리오에 적합한 공정성 개념을 선택하기 위한 지침을 제공합니다.
• Pearl의 인과 계단에 따라 공정성 개념을 순위화하여 배포 난이도를 나타냅니다.

제안 방법

• 인과 프레임워크(SCM 및 잠재적 결과)와 그것들의 등가성을 설명합니다.
• Pearl의 SCM 내에서 인과량의 식별 가능성 기준을 설명합니다.
• 잠재적 결과 프레임워크에서의 추정 기법(예: 매칭, 재가중)을 논의합니다.
• 다양한 인과 기반 공정성 개념을 소개하고 예시합니다(예: 총효과, 반사실 공정성, 개입적 공정성).
• 실세계 시나리오에 따라 개념 선택을 안내하는 의사 결정 다이어그램을 제공합니다.
• 실용적 배포 난이도를 평가하기 위해 Pearl의 인과 계단에 공정성 개념을 위치시킵니다.

실험 결과

연구 질문

• RQ1 존재하는 인과 기반 공정성 개념은 무엇이며 인과관계와 상관관계의 취급 차이는 어떻게 되나요?
• RQ2 관찰 데이터로부터 공정성 평가를 위해 인과량(개입, 반사실)을 어떻게 식별하고 추정할 수 있나요?
• RQ3 특정 실세계 시나리오와 데이터 구조에 따라 가장 적합한 공정성 개념은 무엇인가요?
• RQ4 Pearl의 인과 계단 순위가 각 개념의 배포 실용성에 어떻게 반영되나요?
• RQ5 공정성 분석을 위한 SCM과 잠재적 결과 프레임워크 간의 trade-off는 무엇인가요?

주요 결과

• 19개의 인과 기반 공정성 개념이 분석됩니다.
• 인과성 기반 개념은 개입이나 반사실과 같이 관찰 불가능한 양을 필요로 하며, 이는 관찰 데이터로부터 식별되지 않을 수 있습니다.
• 식별 가능성은 인과 그래프 및 관찰되지 않은 교란 여부에 달려 있습니다.
• 가이드라인(의사 결정 다이어그램)이 실제 시나리오에 적합한 공정성 개념 선택에 도움을 줍니다.
• Pearl의 인과 계단은 배포 가능성과 식별 가능성에 따라 개념의 순위를 매기는 데 사용됩니다.
• 잠재적 결과 프레임워크는 단위 수준의 인과 추론과 추정을 지원하고, SCM은 경로 특이적 인과 분석과 발견을 돕습니다.