[논문 리뷰] Penalizing Unfairness in Binary Classification

Yahav Bechavod, Katrina Ligett|arXiv (Cornell University)|2017. 06. 30.

Medical Coding and Health Information인용 수 75

한 줄 요약

이 논문은 보호 집단 간 거짓 양성(FPR) 및 거짓 음성(FNR) 비율의 격차를 학습 목표에 공정성 패널티를 내재화하여 처벌하는 공정성 인식 학습 프레임워크를 제시하고, modest한 정확도 손실로 공정성을 향상시킵니다. COMPAS와 여러 다른 데이터 세트에서 이를 시연합니다.

ABSTRACT

We present a new approach for mitigating unfairness in learned classifiers. In particular, we focus on binary classification tasks over individuals from two populations, where, as our criterion for fairness, we wish to achieve similar false positive rates in both populations, and similar false negative rates in both populations. As a proof of concept, we implement our approach and empirically evaluate its ability to achieve both fairness and accuracy, using datasets from the fields of criminal risk assessment, credit, lending, and college admissions.

연구 동기 및 목표

• 보호 인구 간 거짓 양성률과 거짓 음성률의 일치를 기반으로 한 공정성 개념을 동기화하고 형식화한다.
• 학습 중 FPR/FNR 평등을 강제하는 페널티 기반 정규화를 제안한다.
• 학습 목표에 공정성을 도입하면 다수의 데이터 세트에서 사후 처리 방법보다 성능을 능가할 수 있음을 보인다.
• 실세계 데이터에서 공정성을 최소한의 정확도 손실로 달성할 수 있음을 실증적으로 제시한다.

제안 방법

• 보호 속성 그룹에 대해 FPR과 FNR를 정의하고 그룹 간 차이를 측정하는 두 가지 그룹 차원 페널티를 도입한다.
• 0-1 손실을 완화하고 볼록성/미분가능성을 보장하기 위해 절댓값 차이(Absolute Value Difference, AVD)와 제곱 차이(Squared Difference, SD)라는 여유 마진 페널티를 제안한다.
• 경계 기반 분류기(예: 선형 분류기, 커널화된 비선형 SVM으로의 확장을 포함)에 대해 이 페널티를 정규화된 위험 최소화 objective에 내장한다.
• 로지스틱 회귀에 접근 방식을 특화하여, 가능도와 공정성 페널티 및 L2 정규화를 균형 있게 조정하는 convexProxy 최적화 문제를 생성한다.
• 프록시 볼록 문제를 최적화하는 학습 체계를 구현한 후, 얻은 분류기를 보류된 테스트 데이터에서 평가한다.
• 여러 데이터 세트에서 기존의 사후 처리 및 프록시 기반 방법과 비교한다.

실험 결과

연구 질문

• RQ1 명시적으로 FPR 및 FNR의 평등을 촉진하는 페널티가 Accuracy의 큰 하락 없이 공정성을 달성할 수 있는가?
• RQ2 AVD 및 SD 페널티 변형이 실제 데이터 세트에서 사후 처리 공정성 방법과 비교해 실무적으로 어떤 성능을 보이는가?
• RQ3 학습 목표에 공정성 페널티를 통합할 때 정확도-공정성 간의 trade-off는 무엇인가?
• RQ4 대규모 데이터 세트에 대해 확장 가능하고 비선형 모델에도 적용 가능한가?

주요 결과

• 제안된 페널티 학습 방식은 다양한 데이터 세트에서 불공정성(FPR/FNR 차이)을 상당히 감소시키는 한편 정확도는 경쟁력을 유지한다.
• COMPAS에서 페널티를 가진 방법은 FPR/FNR 발산을 거의 제로에 가깝게 하면서 정확도가 여러 기준선과 같거나 더 나아진다.
• Adult, Loan Default, Admissions 데이터 세트 전반에 걸쳐 이 접근법은 Hardt 등(사후 처리) 및 Zafar 등(프록시 최적화)과 같은 대안에 비해 더 공정한 예측을 달성하면서도 비교적 우수한 정확도 성능을 보인다.
• SD 및 AVD 페널티 변형은 정확도에서 서로 다른 트레이드오프를 보이며 공정성을 개선하는 데 유리함을 보여, 공정성과 성능의 균형에 융통성을 제공한다.
• 실험 결과는 학습 단계에 공정성을 도입하는 것이 여러 설정에서 사후 공정성 방법보다 더 우수한 성능을 보일 수 있음을 시사한다.