[논문 리뷰] Fairness-Accuracy Trade-Offs: A Causal Perspective

Drago Plečko, Elias Bareinboim|arXiv (Cornell University)|2024. 05. 24.

Climate Change Policy and EconomicsEconomics, Econometrics and Finance인용 수 3

한 줄 요약

이 논문은 인과적 프레임워크를 도입하여 기계학습에서의 공정성-정확도 트레이드오프를 분석한다. 경로별 초과손실(PSEL)을 제안하여 특정 인과적 경로를 따라 공정성을 강제할 경우 발생하는 정확도 손실을 정량화한다. 총 초과손실을 국소적 PSEL로 분해하고, 다양한 경로 간 트레이드오프를 비교하기 위해 인과적 공정성/이용도 비율을 도입하며, 인과적 제약을 가진 공정한 학습을 위한 신경망 기반 방법을 개발하여 실제 데이터셋에서 공정성과 정확도가 일관되게 상충 관계에 있음을 실험적으로 입증한다.

ABSTRACT

Systems based on machine learning may exhibit discriminatory behavior based on sensitive characteristics such as gender, sex, religion, or race. In light of this, various notions of fairness and methods to quantify discrimination were proposed, leading to the development of numerous approaches for constructing fair predictors. At the same time, imposing fairness constraints may decrease the utility of the decision-maker, highlighting a tension between fairness and utility. This tension is also recognized in legal frameworks, for instance in the disparate impact doctrine of Title VII of the Civil Rights Act of 1964 -- in which specific attention is given to considerations of business necessity -- possibly allowing the usage of proxy variables associated with the sensitive attribute in case a high-enough utility cannot be achieved without them. In this work, we analyze the tension between fairness and accuracy from a causal lens for the first time. We introduce the notion of a path-specific excess loss (PSEL) that captures how much the predictor's loss increases when a causal fairness constraint is enforced. We then show that the total excess loss (TEL), defined as the difference between the loss of predictor fair along all causal pathways vs. an unconstrained predictor, can be decomposed into a sum of more local PSELs. At the same time, enforcing a causal constraint often reduces the disparity between demographic groups. Thus, we introduce a quantity that summarizes the fairness-utility trade-off, called the causal fairness/utility ratio, defined as the ratio of the reduction in discrimination vs. the excess loss from constraining a causal pathway. This quantity is suitable for comparing the fairness-utility trade-off across causal pathways. Finally, as our approach requires causally-constrained fair predictors, we introduce a new neural approach for causally-constrained fair learning.

연구 동기 및 목표

• 기존 통계적 공정성 정의의 한계를 해결하기 위해 기계학습에서의 공정성과 정확도 간 트레이드오프를 인과적 관점에서 분석하는 것.
• 경로별 초과손실(PSEL)이라는 새로운 지표를 통해 특정 인과적 경로를 따라 공정성을 강제할 경우 발생하는 정확도 손실을 정량화하는 것.
• 공정성 제약으로 인한 총 초과손실을 개별 인과적 경로의 기여도로 분해하여 공정성-이용도 트레이드오프에 대한 세분화된 분석을 가능하게 하는 것.
• 다양한 인과적 경로 간 공정성 간 interventions의 효율성을 비교할 수 있는 비교 지표로 인과적 공정성/이용도 비율을 도입하는 것.
• 특정 인과적 경로를 따라 공정성을 강제하면서도 예측 성능을 유지할 수 있는 신경망 아키텍처를 개발하여 제안된 프레임워크의 실용적 구현을 가능하게 하는 것.

제안 방법

• 특정 인과적 경로가 공정하도록 제약이 가해질 경우 예측기의 손실이 얼마나 증가하는지 측정하기 위해 경로별 초과손실(PSEL)을 제안한다.
• 총 초과손실(TEL)을 모든 인과적 경로에 대한 PSEL의 합으로 분해하여, 개별 경로가 정확도 손실에 기여하는 정도를 기여도 기반으로 할당할 수 있도록 한다.
• 차별 감소량 대 초과손실의 비율인 인과적 공정성/이용도 비율을 도입하여, 다양한 경로 간 공정성 간 interventions의 효율성을 비교할 수 있도록 한다.
• 특정 인과적 경로를 따라 공정성을 강제하기 위해 백프로파게이션을 수정하는 방식으로, 인과적 제약을 가진 공정한 예측기 학습을 위한 신경망 기반 방법을 개발한다.
• 알고리즘(Alg. 1)을 적용하여 각 인과적 경로를 제거했을 때 공정성(TVD로 측정)과 정확도(손실로 측정)에 미치는 영향을 체계적으로 평가하며, PSEL 및 CFUR 지표를 활용한다.
• 인과 그래프를 사용하여 각 경로가 공정성과 정확성에 기여하는 방식을 시각화하며, 그래프에 PSEL 및 TVD 값이 주석으로 표기된다.

Figure 1 : TV vs. Excess Loss.

실험 결과

연구 질문

• RQ1 전반적인 트레이드오프가 아니라 개별 인과적 경로를 중심으로 공정성-정확도 트레이드오프를 어떻게 정량화할 수 있는가?
• RQ2 특정 인과적 경로를 따라 공정성을 강제할 경우 예측기의 손실이 얼마나 증가하는가? 그리고 이러한 비용은 어떻게 측정할 수 있는가?
• RQ3 어느 인과적 경로가 가장 유리한 공정성-이용도 트레이드오프를 제공하는가? 그리고 이러한 경로는 어떻게 비교할 수 있는가?
• RQ4 특정 인과적 경로를 따라 공정성을 강제하면서도 예측 성능을 유지할 수 있도록 신경망을 학습시킬 수 있는가?
• RQ5 다양한 인과적 경로는 실제 기계학습 응용에서 그룹 간 격차에 어떻게 기여하는가?

주요 결과

• COMPAS 재범 위험 예측 데이터셋에서 유사 효과를 제거했을 때 그룹 간 격차는 3% 감소(TVD 기준)하였고, 간접 효과를 제거했을 땐 5% 감소하여 간접 효과 제거가 더 강한 공정성 향상을 가져옴을 시사한다.
• COMPAS에서 간접 효과에 대한 경로별 초과손실(PSEL)은 AUROC 기준 12%로 유사 효과의 6%보다 유의미하게 높아, 간접 효과 제약에 따른 정확도 손실이 더 크다는 것을 시사한다.
• 인과적 공정성/이용도 비율(CFUR) 분석 결과, 독일 신용 데이터셋에서 직접 효과를 제거할 경우 공정성 향상 대비 정확도 손실의 비율이 가장 우수한 트레이드오프를 보였다.
• 총 초과손실(TEL)이 경로 간 PSEL의 합으로 성공적으로 분해되었으며, 이는 이론적 분해(정리 1)의 타당성을 검증한다.
• 제안된 인과적 제약을 가진 공정한 학습을 위한 신경망 방법은 다양한 데이터셋에서 PSEL 및 CFUR 프레임워크를 활용해 평가할 수 있는 공정한 예측기를 구축하는 데 성공하였다.
• 세 가지 실제 데이터셋(German credit, COMPAS, 랜덤 포레스트)에서의 실험 결과는 공정성과 정확도가 항상 상충 관계에 있음을 일관되게 보여주었으며, 어떤 경로를 선택하더라도 정확도 손실 없이 완전한 공정성을 달성할 수는 없음을 확인하였다.

(a) (A)PSEL and (A)TVD values.