[논문 리뷰] Optimal Training of Fair Predictive Models

Razieh Nabi, Daniel Malinsky외 1명|arXiv (Cornell University)|2019. 10. 09.

Ethics and Social Impacts of AI참고 문헌 26인용 수 4

한 줄 요약

이 논문은 관측된 데이터의 우도를 새로운 방식으로 재정의하여 공정성 제약 조건—특히 길이별 원인 효과—를 직접 우도 함수의 파라미터로 통합함으로써, 복잡한 비선형 제약 조건을 단순한 상자 제약 조건으로 전환한다. 이 방법은 기초 공변량을 제약하는 경험 우도 기법과 결합하여 예측 정확도를 향상시키면서도 공정성을 유지하며, 시뮬레이션에서 제약 조건이 없는 모델에 가까운 성능을 달성한다.

ABSTRACT

Recently there has been sustained interest in modifying prediction algorithms to satisfy fairness constraints. These constraints are typically complex nonlinear functionals of the observed data distribution. Focusing on the path-specific causal constraints proposed by Nabi and Shpitser (2018), we introduce new theoretical results and optimization techniques to make model training easier and more accurate. Specifically, we show how to reparameterize the observed data likelihood such that fairness constraints correspond directly to parameters that appear in the likelihood, transforming a complex constrained optimization objective into a simple optimization problem with box constraints. We also exploit methods from empirical likelihood theory in statistics to improve predictive performance by constraining baseline covariates, without requiring parametric models. We combine the merits of both proposals to optimize a hybrid reparameterized likelihood. The techniques presented here should be applicable more broadly to fair prediction proposals that impose constraints on predictive models.

연구 동기 및 목표

• 인과 경로별 효과에서 유래한 복잡하고 비선형적인 공정성 제약 조건 하에서 공정한 예측 모델을 훈련하는 데 도전하는 것.
• 공정성 제약 조건이 명시적이고 쉽게 제약할 수 있는 파라미터로 나타나도록 우도를 재정의하여 제약 최적화를 단순화하는 것.
• 기본 공변량을 제약하기 위해 경험 우도 기법을 통합함으로써, 비모수적 모델을 가정하지 않고도 예측 성능을 향상시키는 것.
• 재정의된 우도와 경험 우도를 결합한 하이브리드 접근법을 개발하여 더 효율적인 데이터 사용과 더 높은 정확도를 달성하는 것.
• 이 방법이 연구된 특정 인과 프레임워크를 초월하여 다른 공정성 제약 예측 문제로 일반화될 수 있는지 보여주는 것.

제안 방법

• 불공정한 길이별 효과가 우도 함수의 명시적 파라미터가 되도록 관측된 데이터의 우도를 재정의하여, 공정성 제약 조건이 이 파라미터들에 대한 간단한 상자 제약 조건으로 적용되도록 하는 것.
• 경험 우도 이론을 사용하여 기초 공변량의 분포를 제약하는 반모수적 우도를 구성함으로써 데이터 효율성과 예측 정확도를 향상시키는 것.
• 재정의된 우도와 공변량에 대한 경험 우도 제약 조건을 결합한 하이브리드 우도를 제안하여 공정성과 예측의 동시 최적화를 가능하게 하는 것.
• 결과가 중재자와 민감한 특성에 의존하는 인과 모델에 이 방법을 적용하고, 직접 경로와 간접 경로의 길이별 효과를 제약함으로써 공정성을 확보하는 것.
• 재정의된 우도와 하이브리드 우도를 사용하여 제약 최대우도추정법(MLE)을 적용하고, 우도 파라미터와 경험 우도 가중치를 동시에 최적화하는 것.
• g-공식과 역확률가중치(IPW)를 기준으로 하여 제안된 방법의 성능을 KL 발산과 평균제곱오차(MSE) 측면에서 평가하는 것.

실험 결과

연구 질문

• RQ1 길이별 공정성 제약 조건을 직접 우도 함수의 파라미터로 통합함으로써 예측 모델링에서 제약 최적화를 단순화할 수 있는가?
• RQ2 공정성 제약 조건을 명시적으로 드러내기 위해 우도를 재정의함으로써, 표준 제약 MLE에 비해 예측 정확도에 어떤 영향을 미치는가?
• RQ3 비모수적 가정 없이 기초 공변량을 제약하는 경험 우도 기법이 얼마나 공정성 인식 예측 성능을 향상시킬 수 있는가?
• RQ4 재정의된 우도와 경험 우도를 결합함으로써, 각각의 방법보다 더 높은 예측 성능을 달성할 수 있는가?
• RQ5 제안된 하이브리드 접근법은 예측 정확도의 최소한의 손실로 공정성을 달성할 수 있는가, 제약 조건이 없는 모델의 성능에 근접하는가?

주요 결과

• 재정의된 MLE 방법(M2)은 표준 제약 MLE(M1)에 비해 진짜 불공정 분포와의 KL 발산을 1.5% 감소시켰지만, MSE에서는 거의 향상되지 않았다.
• 하이브리드 MLE 방법(M3)은 시뮬레이션 1에서 표준 제약 MLE(M1) 대비 MSE를 66% 감소시켜 3.497에서 1.166로 떨어뜨렸다.
• 하이브리드 재정의 MLE(M4)는 시뮬레이션 1에서 MSE를 1.569로 추가로 향상시켜 공변량 제약 조건에 대해 재정의와 경험 우도를 결합함으로써 유의미한 이점을 보였다.
• 다중 중재자를 포함한 시뮬레이션 3에서는 하이브리드 MLE가 기준 제약 MLE의 MSE를 2.484에서 1.131로 감소시켜 공정성 제약 조건 하에서도 예측 정확도 향상이 뚜렷하게 나타났다.
• 제안된 방법은 경로별 효과(PSE)를 [-0.05, 0.05]로 제약한 공정한 분포(p*)를 달성하면서도, 제약 조건이 없는 모델과 유사한 KL 발산을 유지하여 데이터 분포에 대한 강한 충실도를 보였다.
• 제안된 하이브리드 접근법은 공정성 강화와 예측 정확도 양면에서 모든 기준 방법을 능가했으며, 가장 낮은 MSE와 시뮬레이션 1에서 PSE 추정치가 0.02인 공정한 추정치를 달성했다.