[논문 리뷰] The Sensitivity of Counterfactual Fairness to Unmeasured Confounding

Niki Kilbertus, Philip Ball외 3명|arXiv (Cornell University)|2019. 07. 01.

Ethics and Social Impacts of AI참고 문헌 23인용 수 20

한 줄 요약

이 논문은 비선형 가감성 노이즈 모델(ANMs) 내에서 측정되지 않은 교란 요인에 의한 반사적 공정성의 영향을 평가하기 위해 민감도 분석 도구를 도입한다. 이는 이변량 교란 요인에 대해 격자 기반 방법을 제안하고, 다변량 케이스에 대해 자동 미분을 활용한 최적화 기반 접근법을 제시하며, 인과적 그래프가 거의 정확할지라도 교란 요인이 공정성 지표에 상당한 영향을 미칠 수 있음을 입증한다.

ABSTRACT

Causal approaches to fairness have seen substantial recent interest, both from the machine learning community and from wider parties interested in ethical prediction algorithms. In no small part, this has been due to the fact that causal models allow one to simultaneously leverage data and expert knowledge to remove discriminatory effects from predictions. However, one of the primary assumptions in causal modeling is that you know the causal graph. This introduces a new opportunity for bias, caused by misspecifying the causal model. One common way for misspecification to occur is via unmeasured confounding: the true causal effect between variables is partially described by unobserved quantities. In this work we design tools to assess the sensitivity of fairness measures to this confounding for the popular class of non-linear additive noise models (ANMs). Specifically, we give a procedure for computing the maximum difference between two counterfactually fair predictors, where one has become biased due to confounding. For the case of bivariate confounding our technique can be swiftly computed via a sequence of closed-form updates. For multivariate confounding we give an algorithm that can be efficiently solved via automatic differentiation. We demonstrate our new sensitivity analysis tools in real-world fairness scenarios to assess the bias arising from confounding.

연구 동기 및 목표

• 인과적 공정성 연구의 핵심적 격차를 해소하기 위해: 인과적 그래프가 알려져 있고 정확하다는 가정이지만, 실제로는 측정되지 않은 교란 요인으로 인해 자주 위배됨.
• 실제 예측 시스템에서 관측되지 않은 교란 요인이 반사적 공정성 지표에 얼마나 영향을 미칠 수 있는지 정량화하는 도구를 개발하기 위해.
• 합리적인 모델 잘못 설정 상황 하에서 공정성 기준의 강건성을 체계적으로 평가하는 방법을 제공하기 위해.
• 평균 치료 효과(ATE)를 넘어서 개인 수준의 공정성 지표인 반사적 공정성까지 민감도 분석을 확장하기 위해.

제안 방법

• 비선형 가감성 노이즈 모델(ANMs)에서 오차 항 간의 공분산으로 측정되지 않은 교란 요인을 모델링하며, 숨겨진 공통 원인을 나타낸다.
• 이변량 교란 요인의 경우, 공분산 값에 대한 격자 기반 탐색을 통해 반사적 공정성의 최대 변화를 계산하며, 비선형 기저 함수를 갖는 선형 모델에서는 닫힌 형태의 업데이트를 제공한다.
• 다변량 교란 요인의 경우, 정의된 공분산 행렬에 제약 조건이 붙은 최적화 문제로 공식화하며, 자동 미분를 통해 해결할 수 있다.
• 보호된 속성, 결과 및 중개 변수 간의 관계를 구조 방정식으로 모델링하며, 오차 항은 관측되지 않은 교란 요인을 포괄한다.
• 오차 항이 상관이 있는 교란 모델과 독립된 오차 항을 가진 비교 모델 간의 반사적 예측을 비교하여 공정성 영향을 계산한다.
• 교란에 의한 공정성의 최악의 편차를 정량화하기 위해 새로운 지표인 CFU(Confounding Under Counterfactual Fairness)를 도입한다.

실험 결과

연구 질문

• RQ1 인과적 그래프가 그 외에는 정확한 경우에도 측정되지 않은 교란 요인이 예측 모델의 반사적 공정성에 어떤 영향을 미치는가?
• RQ2 오차 항 내에서 관측되지 않은 교란 요인이 주어진 수준일 때 반사적 공정성의 최대 가능한 악화 정도는 무엇인가?
• RQ3 이변량 및 다변량 설정 모두에서 교란 상황 하에서의 최악의 공정성 위반을 효율적으로 계산할 수 있는가?
• RQ4 다양한 수준과 부호를 가진 교란 상관관계가 실세계 데이터셋의 공정성 지표에 어떤 영향을 미치는가?
• RQ5 제안된 민감도 도구는 교란이 없다는 가정을 하거나 임의의 오차 구조를 사용하는 기준 기반 방법과 비교해 어떻게 다른가?

주요 결과

• 법학원 데이터셋에서 CFU는 교란 강도가 증가함에 따라 증가하며, 중간 수준의 상관관계(p_max ≈ 0.5)에서 정점에 도달한 후 고p_max에서 다시 상승하는 경향을 보이며, 이는 수치적 불안정성 때문일 수 있다.
• NHS 스태프 설문 조사 데이터셋에서도 유사한 패턴을 보였다: 작은 p_max에서 상승, 중간 범위에서 정점, 고p_max에서 후속 상승; 모든 값은 기준 방법보다 낮았다.
• 이변량 교란 요인에 대해 격자 기반 접근법은 비선형 기저 함수를 갖는 선형 모델 하에서 빠르고 닫힌 형태의 해를 제공하여 효율적인 민감도 검사를 가능하게 한다.
• 자신의 미분을 활용한 최적화 기반 방법은 격자 탐색이 비현실적인 다변량 ANMs에서 최악의 공정성 위반을 성공적으로 식별한다.
• 기준 방법(독립성 가정 또는 임의의 오차 구조 사용)은 제안된 방법보다 항상 더 높은 CFU를 산출하며, 이는 새로운 도구가 더 보수적이고 신뢰할 수 있음을 시사한다.
• 연구 결과, 낮은 교란 수준에서 p_max의 미세한 변화가 CFU에 큰 점프를 유도함을 확인하여, 초기 단계에서의 모델 잘못 설정에 매우 민감함을 드러냈다.