[논문 리뷰] Causal Discrimination Discovery Through Propensity Score Analysis.

Bilal Mazhar Qureshi, Faisal Kamiran외 2명|arXiv (Cornell University)|2016. 08. 12.

Ethics and Social Impacts of AI참고 문헌 3인용 수 11

한 줄 요약

이 논문은 보호 대상 속성 그룹과 비보호 그룹 간의 혼동 변수를 균형 잡기 위해 성향 스코어 가중치를 사용하는 인과적 차별성 탐지 방법을 제안한다. 이는 이웃 기반 측정법과 해석 가능한 회귀 트리를 통해 개인 수준의 인과적 차별성 또는 특혜를 편향 없이 탐지할 수 있게 하며, 두 개의 실세계 데이터셋에서 관찰 분석에 비해 법적으로 인정 가능한 결과를 도출한다.

ABSTRACT

Social discrimination is considered illegal and unethical in the modern world. Such discrimination is often implicit in observed decisions' datasets, and anti-discrimination organizations seek to discover cases of discrimination and to understand the reasons behind them. Previous work in this direction adopted simple observational data analysis; however, this can produce biased results due to the effect of confounding variables. In this paper, we propose a causal discrimination discovery and understanding approach based on propensity score analysis. The propensity score is an effective statistical tool for filtering out the effect of confounding variables. We employ propensity score weighting to balance the distribution of individuals from protected and unprotected groups w.r.t. the confounding variables. For each individual in the dataset, we quantify its causal discrimination or favoritism with a neighborhood-based measure calculated on the balanced distributions. Subsequently, the causal discrimination/favoritism patterns are understood by learning a regression tree. Our approach avoids common pitfalls in observational data analysis and make its results legally admissible. We demonstrate the results of our approach on two discrimination datasets.

연구 동기 및 목표

• 측정하지 못한 혼동 변수로 인해 편향을 받을 수 있는 관찰 데이터 분석의 한계를 해결하기 위해.
• 혼동 변수를 균형 잡음으로써 보호 대상 속성이 결정에 미치는 영향을 분리하는 인과 추론 프레임워크를 개발하기 위해.
• 균형 잡힌 데이터 분포에서 이웃 기반 측정법을 사용하여 개인 수준의 인과적 차별성 또는 특혜를 정량화하기 위해.
• 해석 가능한 회귀 트리를 통해 차별 패턴을 해석하여 실천 가능한 통찰을 도출하기 위해.
• 기존 관찰 분석의 일반적인 함정을 피함으로써 결과가 법적으로 인정될 수 있도록 보장하기 위해.

제안 방법

• 보호 그룹과 비보호 그룹 간의 혼동 변수 분포를 균형 잡기 위해 성향 스코어 가중치를 적용하기 위해.
• 관측된 공변량 기반으로 로지스틱 회귀 또는 머신러닝 모델을 사용해 성향 스코어를 추정하기 위해.
• 역확률 가중치를 사용하여 그룹 간의 차이가 보호 대상 속성에 기인한 것만으로 균형 잡힌 데이터셋을 생성하기 위해.
• 균형 잡힌 데이터에서 이웃 기반 측정법을 사용해 개인 수준의 인과적 차별성 스코어를 계산하기 위해.
• 인과 스코어를 기반으로 회귀 트리를 학습하여 차별성 또는 특혜를 이끄는 패턴과 핵심 요인을 식별하기 위해.
• 효과성과 해석 가능성 평가를 위해 두 개의 실세계 차별성 데이터셋에서 방법을 검증하기 위해.

실험 결과

연구 질문

• RQ1 성향 스코어 가중치가 사회적 차별성을 탐지하는 데 있어 혼동 변수로부터 기인하는 편향을 효과적으로 줄일 수 있는가?
• RQ2 통계적으로 타당하고 법적으로 인정 가능한 방식으로 개인 수준의 인과적 차별성을 어떻게 정량화할 수 있는가?
• RQ3 혼동 변수를 적절히 통제할 경우 어떤 차별 패턴이 드러나는가?
• RQ4 로지스틱 회귀 트리와 같은 해석 가능한 모델이 탐지된 차별성의 근본 원인을 얼마나 잘 설명할 수 있는가?
• RQ5 제안된 방법이 진정한 차별 사례를 식별하는 데 있어 기존의 관찰 분석보다 뛰어난가?

주요 결과

• 제안된 방법은 보호 그룹과 비보호 그룹 간의 공변량 분포를 균형 잡음으로써 혼동 변수로부터 기인하는 편향을 성공적으로 줄였다.
• 균형 잡힌 데이터에서 계산된 인과적 차별성 스코어는 기존의 관찰 방법보다 더 정확하고 법적으로 인정받을 수 있는 평가를 제공한다.
• 회귀 트리 모델은 차별성 또는 특혜에 기여하는 핵심 요인을 효과적으로 식별하여 해석 가능성의 향상을 이뤘다.
• 기존의 관찰 분석에 비해 두 개의 실세계 데이터셋에서 인과적 차별성 패턴을 더 잘 탐지하는 것으로 나타났다.
• 인과적 근거와 투명성 덕분에 결과는 법적 및 정책적 맥락에서 강건하고 적합하게 사용될 수 있다.