[논문 리뷰] Causal Discovery for Fairness

Rūta Binkytė-Sadauskienė, Karima Makhlouf외 3명|arXiv (Cornell University)|2022. 06. 14.

Qualitative Comparative Analysis Research인용 수 5

한 줄 요약

이 논문은 정의 인식 기계 학습의 핵심적 간극을 다루며, 데이터에서 원인 관계 그래프를 추론하는 원인 발견 기법이 정의 평가에 미치는 영향을 입증한다. 다양한 원인 발견 알고리즘은 동일한 데이터셋을 사용할지라도 서로 다른 원인 구조를 도출하여 직접적, 간접적, 매개된 차별에 대한 결론을 크게 달리 함을 보여주며, 이는 신뢰할 수 있는 정의 평가를 위해 신중한 원인 모델 선택이 필수적임을 시사한다.

ABSTRACT

It is crucial to consider the social and ethical consequences of AI and ML based decisions for the safe and acceptable use of these emerging technologies. Fairness, in particular, guarantees that the ML decisions do not result in discrimination against individuals or minorities. Identifying and measuring reliably fairness/discrimination is better achieved using causality which considers the causal relation, beyond mere association, between the sensitive attribute (e.g. gender, race, religion, etc.) and the decision (e.g. job hiring, loan granting, etc.). The big impediment to the use of causality to address fairness, however, is the unavailability of the causal model (typically represented as a causal graph). Existing causal approaches to fairness in the literature do not address this problem and assume that the causal model is available. In this paper, we do not make such assumption and we review the major algorithms to discover causal relations from observable data. This study focuses on causal discovery and its impact on fairness. In particular, we show how different causal discovery approaches may result in different causal models and, most importantly, how even slight differences between causal models can have significant impact on fairness/discrimination conclusions. These results are consolidated by empirical analysis using synthetic and standard fairness benchmark datasets. The main goal of this study is to highlight the importance of the causal discovery step to appropriately address fairness using causality.

연구 동기 및 목표

• 원인 발견 알고리즘이 기계 학습에서 정의 평가에 어떻게 영향을 미치는지 조사하기.
• 유추된 원인 그래프의 미세한 차이가 정의 평가에 있어 뚜렷한 차이를 초래함을 입증하기.
• 정의 평가 파이프라인에서 원인 모델 생성의 중요하고 종종 간과되는 역할을 부각하기.
• 기존의 정의 방법은 원인 그래프가 알려져 있다고 가정하지만, 강력한 원인 발견 없이 이는 결함이 있음을 강조하기.
• 정의 전용 원인 발견 알고리즘 개발을 촉구하기.

제안 방법

• 연구는 인위적 및 실제 정의 벤치마크 데이터셋에 대해 네 가지 주요 원인 발견 알고리즘—PC, FCI, GES, SBCN—을 평가한다.
• 제약 기반(예: PC, FCI), 점수 기반(예: GES), 구조적 방정식 모델링(예: SBCN) 접근 방식을 사용해 관측 가능한 데이터에서 원인 그래프를 추론한다.
• do-계산법과 간섭 기반 추정을 통해 유도된 그래프에서 총 효과, 직접 효과, 간접 효과, 설명된 효과를 계산한다.
• 매개 분석을 수행하여 원인 효과를 직접적(불공정), 간접적(대리자를 통한 잠재로 불공정), 또는 설명된(합법적 요인에 의한 공정)으로 분류한다.
• 다양한 원인 구조 간에 총 효과(TE), 직접 효과(DE), 간접적 차별(ID) 등의 정의 지표를 비교한다.
• 통계적 인과성 검정을 사용해 그래프 구축을 안내하면서, Communities and Crime 데이터셋과 인위적 데이터를 대상으로 실증 검증을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 원인 발견 알고리즘이 동일한 데이터셋으로부터 어떻게 다름없는 원인 그래프를 도출하는가?
• RQ2 유추된 원인 구조의 변동이 정의 평가에서 차별에 대한 결론에 얼마나 큰 영향을 미치는가?
• RQ3 변수의 역할(예: 연령이 혼동요인 vs. 매개변수로 기능할 경우)이 직접 및 간접 차별의 추정에 어떻게 영향을 주는가?
• RQ4 틀린 원인 모델은 총 효과가 일관되더라도 잘못된 매개 분석을 초래할 수 있는가?
• RQ5 실제 정의 데이터에 대해 성립하지 않을 수 있는 특정 원인 구조(예: LiNGAM)를 가정할 경우의 함의는 무엇인가?

주요 결과

• 다양한 원인 발견 알고리즘(PC, FCI, GES, SBCN)은 특히 간선 방향과 혼동요인의 존재 여부에서 다름없는 원인 그래프를 도출하였다.
• 인종과 폭력 사이의 원인 경로 수는 크게 다를 수 있었다: PC, FCI, GES, SBCN에서는 7~9개의 경로를 보였지만, LiNGAM에서는 단 1개의 경로만 존재하여 LiNGAM의 비정규 잡음 가정 위반 가능성을 시사했다.
• 틀린 그래프임에도 불구하고 LiNGAM는 다른 방법들과 유사한 총 효과(TE ≈ 0.394)를 도출했지만, 모든 차별을 직접적 요인으로 할당하여 간접 효과는 0이 되었다.
• 간접적 차별(ID) 측정치는 연령을 혼동요인으로 모델링할지, 매개변수로 모델링할지에 따라 크게 달라졌으며, 이는 원인 구조에 매우 민감함을 보였다.
• 직접 효과(DE)는 LiNGAM를 제외한 모든 방법에서 유사하게 나타났으며, LiNGAM에서는 간접 경로가 없기 때문에 DE가 TE와 동일해졌다.
• 본 연구는 정의 평가에 있어 매개 분석 및 경로별 효과에 대한 결론이 총 효과뿐만 아니라 원인 그래프의 정확성에 의해 결정된다는 것을 확인했다.