[논문 리뷰] Empirical observation of negligible fairness-accuracy trade-offs in machine learning for public policy

Kit T. Rodolfa, Hemank Lamba외 1명|arXiv (Cornell University)|2020. 12. 05.

Ethics and Social Impacts of AI참고 문헌 37인용 수 83

한 줄 요약

이 논문은 공공 정책 분야의 기계학습에서 공정성-정확도 트레이드오프를 경험적으로 조사하며, 보조적 불균형 완화 방법으로 하위군별 점수 임계값을 사용할 경우 정확도를 희생시키지 않고도 공정성—특히 재확인률 측면에서—를 크게 향상시킬 수 있음을 보여준다. 정신건강, 주거안전, 교육, 크라우드펀딩의 네 가지 실제 정책 분야에서 공정성 향상은 정확도 손실이 거의 없이 달성되었으며, 이는 공정성을 확보하기 위해 복잡한 방법이나 성능 희생이 반드시 필요하다는 전제를 도전한다.

ABSTRACT

Growing use of machine learning in policy and social impact settings have raised concerns for fairness implications, especially for racial minorities. These concerns have generated considerable interest among machine learning and artificial intelligence researchers, who have developed new methods and established theoretical bounds for improving fairness, focusing on the source data, regularization and model training, or post-hoc adjustments to model scores. However, little work has studied the practical trade-offs between fairness and accuracy in real-world settings to understand how these bounds and methods translate into policy choices and impact on society. Our empirical study fills this gap by investigating the impact of mitigating disparities on accuracy, focusing on the common context of using machine learning to inform benefit allocation in resource-constrained programs across education, mental health, criminal justice, and housing safety. Here we describe applied work in which we find fairness-accuracy trade-offs to be negligible in practice. In each setting studied, explicitly focusing on achieving equity and using our proposed post-hoc disparity mitigation methods, fairness was substantially improved without sacrificing accuracy. This observation was robust across policy contexts studied, scale of resources available for intervention, time, and relative size of the protected groups. These empirical results challenge a commonly held assumption that reducing disparities either requires accepting an appreciable drop in accuracy or the development of novel, complex methods, making reducing disparities in these applications more practical.

연구 동기 및 목표

• 기계학습의 실제 정책 적용 분야에서 공정성-정확도 트레이드오프가 존재하는지 조사하기.
• 자원 제약 상황에서 보조적 불균형 완화 방법의 공정성 및 정확도에 대한 실질적 영향 평가하기.
• 상위-k 간 interventions에 대한 모델 정밀도를 크게 희생시키지 않고도 공정성 향상을 달성할 수 있는지 평가하기.
• 다양한 정책 맥락, 집단 규모, 자원 수준에서 공정성-정확도 결과의 탄력성 검토하기.

제안 방법

• 보호된 집단 간 재확인률 균형을 맞추기 위해 하위군별 점수 임계값을 사용해 보조적 불균형 완화를 적용하였다.
• 정확도의 주요 지표로 상위-k 내 정밀도를 사용하고, 공정성은 재확인률 불균형(기회 균등성)으로 정의하였다.
• 예측 점수를 조정하기 위해 집단별 스케일링 방법을 사용하여 내부 집단 순위는 유지하면서 불균형을 수정하였다.
• 각 정책 맥락에서 다양한 추정기(예: 랜덤 포레스트, 로지스틱 회귀)를 대상으로 그리드 서치를 통해 모델 학습 및 하이퍼파rameter 튜닝을 수행하였다.
• 성능 평가를 위해 시간적 분할 검증 및 부트스트랩 샘플을 활용하여 결과의 탄력성 확보하였다.
• 자원 제약(예: 500명, 1,000개 프로젝트)에 따라 상위-k 목록을 선정하고, 정밀도와 재확인률 불균형을 측정하였다.

실험 결과

연구 질문

• RQ1 기계학습의 실제 정책 적용 분야에서 공정성-정확도 트레이드오프가 존재하는가?
• RQ2 하위군별 임계값을 사용한 보조적 완화가 상위-k 정밀도를 떨어뜨리지 않고도 공정성을 크게 향상시킬 수 있는가?
• RQ3 다양한 정책 분야와 보호 집단 규모에서 공정성 및 정확도 향상의 탄력성은 어떠한가?
• RQ4 학습 중 공정성을 고려한 모델 선택이 보조적 조정보다 더 좋은 결과를 낼 수 있는가?
• RQ5 복잡한 재학습 또는 아키텍처 변경 없이도 단순하고 확장 가능한 방법으로 공정성 향상을 달성할 수 있는가?

주요 결과

• 수감자 정신건강 환경에서 상위 500명 내 정밀도가 1.2%p 감소한 것 외에는 재확인률 불균형이 50% 이상 감소하였다.
• 주거안전 맥락에서 상위 100명 내 정밀도가 0.5% 미만으로 감소했음에도 불구하고, 고소득 지역에 유리한 불균형이 있었음에도 불구하고 공정성 향상이 달성되었다.
• 교육 크라우드펀딩에서 성별 및 인종 하위군 모두에서 상위 1,000개 프로젝트 내 정밀도에 측정 가능한 감소 없이 공정성이 향상되었다.
• 학생 성과 분석에서 과연된 학생들—이전에 소외되었던 집단—은 상위 10,000명 내 정밀도가 0.8% 감소한 것 외에는 재확인률 공정성 향상이 이루어졌다.
• 시간적 분할 검증 및 부트스트랩 재표본 추출 모두에서 방법의 탄력성이 입증되었으며, 일관된 공정성 향상과 최소한의 정확도 손실이 관찰되었다.
• 학습 중 공정성을 고려하지 않은 모델 선택 전략이 보조적 임계값 적용을 통해 거의 동일한 성능을 달성했으며, 이는 보조적 조정의 효과성을 확인한다.