[논문 리뷰] Selection, Ignorability and Challenges With Causal Fairness

Jake Fawkes, Robin J. Evans외 1명|arXiv (Cornell University)|2022. 02. 28.

Political Philosophy and Ethics인용 수 4

한 줄 요약

이 논문은 인과적 공정성 모델에서 독립적인 노이즈를 가정하는 것에 도전하며, 이러한 모델—보통 반사적 공정성(Counterfactual Fairness)을 계산하는 데 사용됨—이 랜덤화 실험과 유사한 강력한 무시 가능성 가정(ignorability assumption)을 필요로 한다고 주장한다. 그러나 이러한 가정은 실제 공정성 데이터에서는 거의 성립하지 않는다. 저자들은 데이터의 선택 편향(selection bias)이 독립적인 노이즈 가정을 무너뜨리며, 반사적 공정성과 일반적인 인과적 공정성 방법론의 기초를 약화시킨다고 밝힌다.

ABSTRACT

In this paper we look at popular fairness methods that use causal counterfactuals. These methods capture the intuitive notion that a prediction is fair if it coincides with the prediction that would have been made if someone's race, gender or religion were counterfactually different. In order to achieve this, we must have causal models that are able to capture what someone would be like if we were to counterfactually change these traits. However, we argue that any model that can do this must lie outside the particularly well behaved class that is commonly considered in the fairness literature. This is because in fairness settings, models in this class entail a particularly strong causal assumption, normally only seen in a randomised controlled trial. We argue that in general this is unlikely to hold. Furthermore, we show in many cases it can be explicitly rejected due to the fact that samples are selected from a wider population. We show this creates difficulties for counterfactual fairness as well as for the application of more general causal fairness methods.

연구 동기 및 목표

• 반사적 공정성 정의의 기초가 되는 독립적인 노이즈 모델의 광범위한 사용에 도전하기 위해.
• 선택 편향으로 인해 실제 공정성 설정에서는 이러한 모델이 요구하는 무시 가능성 가정이 비현실적임을 보여주기 위해.
• 더 넓은 인구집단에서의 선택이 노이즈 변수 간의 의존성을 유도하여 i.i.d. 노이즈 가정을 위반함을 보여주기 위해.
• 반사적 공정성과 경로별 공정성 방법론에 대한 실용적 영향을 부각하기 위해.
• 비랜덤 샘플링된 데이터에 적용될 경우 현재의 인과적 공정성 방법론이 본질적으로 붕괴됨을 주장하기 위해.

제안 방법

• 반사적 공정성을 공식화하기 위해 독립적인 노이즈를 가진 구조적 인과 모델(SCM)을 사용하며, do-계산법과 잠재적 결과를 활용한다.
• 무시 가능성 가정을 적용하여 이상적인 조건에서 반사적 결과가 보호된 속성(protected attributes)과 독립적이 됨을 보여준다.
• 선택 메커니즘(예: 일하지 않는 사람들을 제거하는 것)이 노이즈 변수와 보호된 속성 간의 의존성을 유도함을 보여준다.
• 도식 모델과 충실성 가정(faithfulness assumptions)을 활용하여, 전체 인구집단에 대해 독립적인 노이즈 모델이 적합한 경우, 선택된 표본에는 적합하지 않음을 보여준다.
• 미국 인구조사, 독일 신용, 법학대학원 데이터셋에서의 실증 데이터를 사용하여 관측된 성별 불균형이 무시 가능성 가정을 반박함을 보여준다.
• 반사적 공정성 정의를 적용하여, 진정한 SCM 하에서 반사적 공정성이 보장되더라도 선택에 의한 노이즈 의존성으로 인해 관측 데이터에서는 보호된 속성과 독립적이지 않을 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 인과적 공정성 모델에서 독립적인 노이즈 가정이 성립하는 조건은 무엇인가?
• RQ2 실제 데이터셋의 선택 편향이 반사적 공정성에 필요한 무시 가능성 가정을 어떻게 무너뜨리는가?
• RQ3 전체 인구분포와 다를 경우 선택된 집단에서 독립적인 노이즈 모델이 반사적 결과를 정확하게 표현할 수 있는가?
• RQ4 노이즈의 의존성이 경로별 공정성 및 기타 인과적 공정성 방법론에 미치는 영향은 무엇인가?
• RQ5 랜덤 실험에서 유래하지 않은 데이터일 경우 반사적 공정성이 실천적으로 이룰 수 없는 이유는 무엇인가?

주요 결과

• 반사적 공정성에 필요한 독립적인 노이즈 가정은 무시 가능성 가정을 암시하며, 이는 랜덤화된 통제 실험에서만 성립하며 실제 데이터에서는 거의 성립하지 않는다.
• 더 넓은 인구집단에서의 선택은 노이즈 변수와 보호된 속성 간의 의존성을 유도하여 i.i.d. 노이즈 가정을 위반한다.
• 미국 인구조사 데이터셋에서, 고용된 인구 중 여성 비율이 33%로 관측되었으나, 전체 여성 비율 50.9%와 모순되어 무시 가능성 가정이 기각된다.
• 독일 신용 데이터셋에서, 지원자 중 여성 비율이 31%로 관측되었으나, 전체 여성 비율 51.5%와 모순되어 무시 가능성 가정이 기각된다.
• 법학대학원 데이터셋에서, 지원자 중 여성 비율이 43.8%로 관측되었으나, 전체 여성 비율 49.7%와 모순되어 무시 가능성 가정에 대한 강력한 반박 근거가 된다.
• 모델이 진정한 SCM 하에서 반사적 공정성이 보장되더라도, 선택에 의해 유도된 노이즈 의존성으로 인해 관측 데이터에서는 보호된 속성과 독립적이지 않을 수 있다.