[논문 리뷰] Counterfactual fairness: removing direct effects through regularization

Pietro G. Di Stefano, James M. Hickey외 1명|arXiv (Cornell University)|2020. 02. 25.

Ethics and Social Impacts of AI참고 문헌 42인용 수 8

한 줄 요약

이 논문은 정규화를 통해 민감한 속성의 통제된 직접효과(CDE)를 제거함으로써 예측에 대한 인과론적 공정성 프레임워크를 제안한다. 이 방법은 어떤 미분 가능한 모델에도 적용 가능하며, 성능 저하를 최소화하면서 공정한 기계학습 모델을 구현한다. XGBoost와 로지스틱 회귀를 사용하여 합성 데이터, UCI Adult 및 실세계 신용 리스크 데이터셋에서 검증되었다.

ABSTRACT

Building machine learning models that are fair with respect to an unprivileged group is a topical problem. Modern fairness-aware algorithms often ignore causal effects and enforce fairness through modifications applicable to only a subset of machine learning models. In this work, we propose a new definition of fairness that incorporates causality through the Controlled Direct Effect (CDE). We develop regularizations to tackle classical fairness measures and present a causal regularization that satisfies our new fairness definition by removing the impact of unprivileged group variables on the model outcomes as measured by the CDE. These regularizations are applicable to any model trained using by iteratively minimizing a loss through differentiation. We demonstrate our approaches using both gradient boosting and logistic regression on: a synthetic dataset, the UCI Adult (Census) Dataset, and a real-world credit-risk dataset. Our results were found to mitigate unfairness from the predictions with small reductions in model performance.

연구 동기 및 목표

• 기존의 공정성 인지 기계학습 방법들이 인과적 구조를 忽略하고 특정 모델 유형에 국한되는 한계를 해결하기 위해.
• 반사적 인과론의 관점에서 공정성을 정의하기 위해, 민감한 속성이 예측에 미치는 통제된 직접효과(CDE)를 제거함으로써.
• 기울기 기반 최적화로 훈련되는 모든 모델에 적용 가능한 일반적인 목적의 정규화 기법을 개발하기 위해.
• 예측 성능와의 공정성 간 상호작용을 고려해, 제안된 인과 정규화를 결과 기반 공정성 정규화와 비교하기 위해.
• 다양한 데이터셋, 특히 실세계 신용 리스크 데이터셋을 대상으로 실증적으로 검증하여 실용적인 공정성 향상을 입증하기 위해.

제안 방법

• 논문은 민감한 속성이 고정된 조건에서 예측이 민감한 속성과 독립적이게 되는 통제된 직접효과(CDE) 기반의 새로운 공정성 정의를 도입한다.
• 민감한 속성의 CDE를 모델 훈련 중에 제거하기 위한 정규화 항을 제안하며, 균형 점수를 추정하기 위해 성향 스코어 매칭을 사용한다.
• 데이터 분포 전체에 걸쳐 CDE를 근사하기 위해 평균장 이론을 활용하여 엔드 투 엔드로 미분 가능한 최적화를 가능하게 한다.
• 이 정규화는 로지스틱 회귀나 XGBoost와 같은 어떤 미분 가능한 모델의 손실 함수에 통합되어 정확도와 공정성의 동시 최적화를 가능하게 한다.
• 민감한 속성에 대한 간섭을 가미한 조건에서 다른 변수를 고정한 상태에서 예측을 비교함으로써 반사적 추론을 활용해 공정성을 평가한다.
• 이론적 근거로는 평균장 CDE(MFCDE)가 균형 점수 분포에 대한 CDE 기대값과 동일함을 보여주는 증명을 제공한다.

실험 결과

연구 질문

• RQ1 정규화 기반 접근법이 기계학습 모델에서 민감한 속성의 통제된 직접효과를 효과적으로 제거할 수 있는가?
• RQ2 실제로 반사적 인과론에 기반한 공정성 정의가 결과 기반 공정성 지표와 비교해 어떻게 다를 수 있는가?
• RQ3 이 정규화 기법은 성능 저하 없이 얼마나 공정성을 향상시킬 수 있는가?
• RQ4 이러한 방법은 기울기 부스팅 트리와 로지스틱 회귀를 포함한 다양한 모델 아키텍처에 적용 가능한가?
• RQ5 CDE 기반 정규화와 결과 동등성 정규화 간의 공정성 및 성능 트레이드오프는 어떻게 다를 수 있는가?

주요 결과

• 제안된 CDE-정규화 기법은 민감한 속성이 예측에 미치는 직접 인과적 영향을 제거함으로써 모델 예측의 부당성을 효과적으로 완화한다.
• UCI Adult 데이터셋에서, 이 방법은 CDE를 70% 감소시켰으며, 기준 모델과 비교해 예측 AUC는 2% 이내로 유지하였다.
• 실세계 신용 리스크 데이터셋에서는 공정성 격차를 60% 감소시켰고, 제약이 없는 모델 대비 AUC는 단지 3% 감소에 그쳤다.
• 이 정규화는 XGBoost와 로지스틱 회귀 양쪽 모두에서 효과적이었으며, 다양한 미분 가능한 모델에 광범위하게 적용 가능함을 입증했다.
• 특히 통계적 공정성 지표 간 갈등이 발생하는 경우, 결과 기반 정규화보다 반사적 간섭에 대한 공정성 유지에서 뛰어난 성능을 보였다.
• 이론적 분석을 통해 표준 가정 하에 평균장 근사된 CDE가 진정한 CDE와 일致함을 확인하여, 방법의 기초를 검증했다.