[논문 리뷰] Auditing and Achieving Intersectional Fairness in Classification Problems

Giulio Morina, Viktoriia Oliinyk외 3명|arXiv (Cornell University)|2019. 11. 04.

Ethics and Social Impacts of AI참고 문헌 32인용 수 17

한 줄 요약

이 논문은 이원성 감정 속성에 대한 확장된 공정성 메트릭, 낮은 표본 수의 하위군에 대한 강력한 추정 기법, 그리고 예측 성능을 유지하면서도 공정성을 보장하는 사후 처리 기법을 도입하여 이원성 공정성의 감사 및 달성에 대한 종합적인 프레임워크를 제시한다. 이 방법은 '흑인 여성'이나 '노년대 히스패닉 남성'과 같은 그룹 간의 이원성 공정성을 모델 가정에 의존하지 않고 보장한다.

ABSTRACT

Machine learning algorithms are extensively used to make increasingly more consequential decisions about people, so achieving optimal predictive performance can no longer be the only focus. A particularly important consideration is fairness with respect to race, gender, or any other sensitive attribute. This paper studies intersectional fairness, where intersections of multiple sensitive attributes are considered. Prior research has mainly focused on fairness with respect to a single sensitive attribute, with intersectional fairness being comparatively less studied despite its critical importance for the safety of modern machine learning systems. We present a comprehensive framework for auditing and achieving intersectional fairness in classification problems: we define a suite of metrics to assess intersectional fairness in the data or model outputs by extending known single-attribute fairness metrics, and propose methods for robustly estimating them even when some intersectional subgroups are underrepresented. Furthermore, we develop post-processing techniques to mitigate any detected intersectional bias in a classification model. Our techniques do not rely on any assumptions regarding the underlying model and preserve predictive performance at a guaranteed level of fairness. Finally, we give guidance on a practical implementation, showing how the proposed methods perform on a real-world dataset.

연구 동기 및 목표

• 이중 감정 속성(예: 인종과 성별)이 교차하는 이원성 공정성에 중점을 두어 알고리즘 공정성 연구의 핵심적 격차를 메우기 위해.
• 개별 속성에 대한 편향만 평가하는 것이 아니라, '흑인 여성'이나 '노년대 히스패닉 남성'과 같은 조합 속성에 대한 편향을 평가할 수 있는 공정성 메트릭을 개발하기 위해.
• 데이터 수집 편향으로 인해 일부 이원성 하위군이 극도로 부족한 데이터에서 공정성 메트릭의 강력한 추정 기법을 제공하기 위해.
• 검출된 이원성 편향을 완화하면서도 높은 예측 성능을 유지할 수 있도록 사후 처리 기법을 설계하기 위해.
• Adult Income 데이터셋과 시뮬레이션 데이터셋을 활용한 실험을 통해 프레임워크의 실용적 유용성을 입증하기 위해.

제안 방법

• 통계적 평등, 동등 기회, 동등한 오dds와 같은 단일 속성 공정성 메트릭을 이원성 설정으로 확장하기 위해 데이터(리프트 및 영향 비율)와 모델 출력(동등 기회 및 동등한 오dds)에 대한 메트릭을 정의한다.
• 부드러운 경험적, 부트스트랩, 베이지안 추정 기법을 제안하여 희귀 하위군에 대해 신뢰할 수 있는 공정성 추정을 향상시킨다.
• 이원성 하위군 별로 결정 임계값과 예측 확률을 조정하여 공정성 제약 조건을 만족시키는 사후 처리를 최적화 문제로 프레임워크화한다.
• 결정론적(임계값 전용), 순차적(최적 점수 위에 랜덤화를 적용), 종합적(임계값과 확률의 동시 최적화)의 세 가지 사후 처리 전략을 도입한다.
• ε-차별적 공정성 기반의 공정성 제약 조건을 사용하여, 하위군 간 참양성률의 오즈 비율이 사전 정의된 범위(ε ≤ 2.15) 내에 유지되도록 보장한다.
• 예측 성능의 최소 저하를 보장하기 위해 사후 처리 전후를 비교하기 위해 기본 모델 '최적 점수 모델'을 사용한다.

실험 결과

연구 질문

• RQ1 분류 모델에서 다수의 감정 속성이 교차하는 상황에서 공정성 메트릭을 어떻게 의미적으로 확장하여 이원성 격차를 포괄할 수 있는가?
• RQ2 일부 하위군이 데이터에서 극도로 부족한 상황에서 이원성 공정성을 신뢰할 수 있는 추정 기법은 무엇인가?
• RQ3 사후 처리 기법이 예측 성능을 희생시키지 않고도 보장된 이원성 공정성을 달성할 수 있는가?
• RQ4 다양한 사후 처리 전략(결정론적, 순차적, 종합적)은 공정성과 성능 간의 트레이드오프 측면에서 어떻게 비교될 수 있는가?
• RQ5 강력한 추정 기법은 실세계 데이터셋인 Adult에서 이원성 편향을 얼마나 잘 탐지하고 정량화할 수 있는가?

주요 결과

• 모든 사후 처리 모델이 부드러운 경험적, 부트스트랩, 베이지안 추정기법을 통해 등가 오즈에 대해 목표 ε-차별적 공정성 제약 조건(약 2.15)을 달성했다.
• '순차적' 및 '종합적' 사후 처리 전략은 최적 점수 모델과 거의 동일한 예측 성능을 보였으며, 정확도 손실이 최소한이었다.
• '결정론적' 사후 처리 모델은 다른 사후 처리 전략에 비해 유의미하게 높은 기대 손실을 기록하여 최적의 트레이드오프가 아니라는 점을 시사했다.
• 최적 점수 모델 이후에 적용된 랜덤화가 소수의 부족한 하위군에서 성능 향상을 이끌어내어, 이 방법이 모델 편향을 수정할 수 있음을 입증했다.
• 베이지안 및 부트스트랩 추정기법이 목표 공정성 기준을 포함하는 신뢰도 있는 95% 신뢰구간을 제공하여 추정 프레임워크의 강건성을 검증했다.
• 프레임워크는 특히 표준 공정성 평가에서 간과되기 쉬운 '흑인 여성'과 '노년대 히스패닉 남성'과 같은 하위군에서의 이원성 편향을 성공적으로 식별하고 완화했다.