[논문 리뷰] Toward a better trade-off between performance and fairness with kernel-based distribution matching

Flavien Prost, Hai Qian외 4명|arXiv (Cornell University)|2019. 10. 25.

Ethics and Social Impacts of AI인용 수 8

한 줄 요약

이 논문은 기계학습에서 모델 성능과 공정성 간의 트레이드오프를 향상시키기 위해 MinDiff 프레임워크 내에서 커널 기반 분포 매칭 접근법을 제안한다. 상관관계 기반 정규화를 최대 평균 차이(MMD)로 대체함으로써, 성능-공정성 파레토 프론트가 크게 향상되어 실제 산업 시스템에서 정확도를 유지하면서도 거짓 양성률(FPR) 격차를 최대 80% 감소시킨다.

ABSTRACT

As recent literature has demonstrated how classifiers often carry unintended biases toward some subgroups, deploying machine learned models to users demands careful consideration of the social consequences. How should we address this problem in a real-world system? How should we balance core performance and fairness metrics? In this paper, we introduce a MinDiff framework for regularizing classifiers toward different fairness metrics and analyze a technique with kernel-based statistical dependency tests. We run a thorough study on an academic dataset to compare the Pareto frontier achieved by different regularization approaches, and apply our kernel-based method to two large-scale industrial systems demonstrating real-world improvements.

연구 동기 및 목표

• 실제 기계학습 시스템에서 모델 성능과 공정성 간의 균형을 맞추는 데 도전하는 것.
• 통계적 인지성을 보장하지 못하는 기존의 상관관계 기반 공정성 정규화 기법을 개선하는 것.
• 커널 기반 통계적 종속성 테스트(MMD)를 더 효과적인 공정성 정규화 방법으로 평가하고 구현하는 것.
• MMD 기반 정규화가 대규모 프로덕션 시스템에서 실용적으로 효과적인지 입증하는 것.

제안 방법

• MinDiff 프레임워크를 확장하여 예측 확률과 소그룹 신원 간의 통계적 종속성을 측정하기 위해 최대 평균 차이(MMD)를 공정성 정규화 손실로 사용한다.
• 모든 소그룹의 부정 예측 사례(Y=0)에서 예측 분포를 비교하기 위해 일반 커널(Gaussian 또는 Laplace)을 사용해 MMD를 계산한다.
• MinDiff의 상관관계 기반 손실을 MMD 기반 손실로 대체하며, 이는 경사 하강법을 통해 최적화된다.
• 학습 중에 MMD 손실을 적용하여 소그룹 간 분포 차이를 최소화함으로써 공정성을 향상시키며, 추론 시 소그룹 레이블이 필요로 하지 않는다.
• 이 방법은 이진 분류기와 쌍별 순위 매기기 추천 시스템 양쪽에 적용되며, MMD를 사용해 예측 차이와 소그룹 소속 간의 종속성을 페널티 처리한다.
• 하이퍼파rameter λ는 주 작업 손실과 공정성 정규화 간의 트레이드오프를 제어하며, 파레토 프론트 분석이 가능하다.

실험 결과

연구 질문

• RQ1 커널 기반 분포 매칭(MMD)이 공정성 인식 학습에서 상관관계 기반 정규화보다 더 나은 성능-공정성 트레이드오프를 달성할 수 있는가?
• RQ2 MMD 기반 정규화는 소그룹 간 거짓 양성률(FPR) 격차를 줄이는 데 상관관계 기반 방법보다 얼마나 우수한가?
• RQ3 MMD 기반 MinDiff는 주 성능에 영향을 주지 않으면서 대규모 산업용 기계학습 시스템에 효과적으로 구현될 수 있는가?
• RQ4 커널 선택(Gaussian 대비 Laplace)이 실무에서 공정성-정확도 트레이드오프에 상당한 영향을 미치는가?

주요 결과

• MMD 기반 MinDiff 방법은 상관관계 기반 정규화보다 유의미하게 더 나은 파레토 프론트를 달성하여 FPR 격차를 0.01 이하로 줄였으며, 정확도는 83% 이상 유지한다.
• 학술 데이터셋에서 MMD는 FPR 격차를 0.14에서 0.02로 줄였고, 상관관계 방법은 격차를 0.02 이하로 줄이지 못했다.
• 생산용 분류기 시스템에서 MMD는 상관관계 기반 베이스라인 대비 FPR 비율 격차를 45% 감소시켰으며, 주 작업 성능에 중립적인 영향을 미쳤다.
• 추천 시스템에서 MMD는 쌍별 순위 정확도의 총 격차를 상관관계 기반 MinDiff 방법 대비 65% 감소시켰고, 상관관계 방법은 60% 감소에 그쳤다.
• 커널 선택(Gaussian 또는 Laplace)이 성능에 미치는 영향은 미미하여 커널 선택에 대해 뛰어난 내구성을 보였다.
• 온라인 실험을 통해 MMD 기반 특징이 전체 시스템 성능에 중립적인 영향을 미쳐 실용적 구현 가능성의 타당성을 입증했다.