[논문 리뷰] Multiaccuracy: Black-Box Post-Processing for Fairness in Classification

Michael P. Kim, Amirata Ghorbani외 1명|arXiv (Cornell University)|2018. 05. 31.

Explainable Artificial Intelligence (XAI)참고 문헌 5인용 수 27

한 줄 요약

이 논문은 모델 재학습이 불가능한 환경에서 민감한 속성이 명시적으로 제공되지 않더라도 소수자 그룹의 정확도를 향상시키기 위해 반복적으로 체계적 오류를 수정하는 블랙박스 사후처리 방법인 Multiaccuracy Boost를 소개한다. 이 방법은 재학습이 필요 없이도 소수자 그룹의 정확도를 향상시키며, 전체 성능을 유지하거나 향상시킨다.

ABSTRACT

Prediction systems are successfully deployed in applications ranging from disease diagnosis, to predicting credit worthiness, to image recognition. Even when the overall accuracy is high, these systems may exhibit systematic biases that harm specific subpopulations; such biases may arise inadvertently due to underrepresentation in the data used to train a machine-learning model, or as the result of intentional malicious discrimination. We develop a rigorous framework of *multiaccuracy* auditing and post-processing to ensure accurate predictions across *identifiable subgroups*. Our algorithm, MULTIACCURACY-BOOST, works in any setting where we have black-box access to a predictor and a relatively small set of labeled data for auditing; importantly, this black-box framework allows for improved fairness and accountability of predictions, even when the predictor is minimally transparent. We prove that MULTIACCURACY-BOOST converges efficiently and show that if the initial model is accurate on an identifiable subgroup, then the post-processed model will be also. We experimentally demonstrate the effectiveness of the approach to improve the accuracy among minority subgroups in diverse applications (image classification, finance, population health). Interestingly, MULTIACCURACY-BOOST can improve subpopulation accuracy (e.g. for "black women") even when the sensitive features (e.g. "race", "gender") are not given to the algorithm explicitly.

연구 동기 및 목표

• 대부분의 소수자 하위집단에 부정확한 영향을 미치는 체계적 편향을 해결하기 위해.
• 모델 내부에 대한 액세스 없이도 식별 가능한 하위군 전반에서 정확한 예측을 보장하는 사후처리 프레임워크를 개발하기 위해.
• 모델이 블랙박스 서비스로 배포되고 재학습이 불가능한 실세계 환경에서 공정성 향상을 가능하게 하기 위해.
• 민감한 속성이 제공되지 않은 상황에서도 다중정확도 감시가 하위군 전용 오류를 탐지하고 수정할 수 있음을 보여주기 위해.
• 다중정확도를 위한 사후처리가 전체 모델 유틸리티를 희생시키지 않고도 공정성을 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 블랙박스 분류기 $ f_0 $ 와 소량의 레이블이 부여된 검증 데이터를 사용하여, 모든 식별 가능한 하위집단 전반에서 편향 없는 예측이 이루어지는 다중정확도를 감시한다.
• 감시자 알고리즘은 하위집단 소속도와 예측 오류 간의 관계를 분석하여 $ f_0 $ 가 체계적 오류를 범하는 하위집단을 식별한다.
• Multiaccuracy Boost는 식별된 하위집단의 오류를 수정하기 위해 약한 학습기(weak learner)를 사용하여 $ f_0 $ 를 반복적으로 사후처리한다. 이로 인해 해당 하위집단의 정확도가 향상된다.
• 알고리즘은 제한된 레이블 데이터로 오류율이 높은 하위집단을 효율적으로 식별할 수 있다고 가정한다.
• 민감한 속성(예: 인종, 성별)의 지식이 없더라도 하위집단의 편향을 탐지하고 수정할 수 있다.
• 약한 가정 하에 수렴이 보장되며, 초기 모델이 잘 분류하는 하위집단에 대해서는 성능 저하가 발생하지 않는다.

실험 결과

연구 질문

• RQ1 모델 내부나 민감한 속성에 액세스할 수 없는 블랙박스 사후처리 방법이 분류의 공정성을 향상시킬 수 있는가?
• RQ2 민감한 기능이 명시적으로 제공되지 않은 상황에서 다중정확도 감시가 하위군 전용 오류를 얼마나 잘 탐지하고 수정할 수 있는가?
• RQ3 다중정확도를 위한 사후처리가 전체 모델 성능을 떨어뜨리지 않고도 하위군 정확도를 향상시킬 수 있는가?
• RQ4 Multiaccuracy Boost는 이미지 분류, 금융, 헬스케어와 같은 실세계 적용 분야에서 얼마나 효과적인가?
• RQ5 소수자 그룹이 검증 데이터에 부족하게 포함되어 있더라도 다중정확도 사후처리가 일반화 능력과 전체 정확도를 향상시킬 수 있는가?

주요 결과

• 민감한 속성(예: 인종, 성별)이 알고리즘에 제공되지 않더라도, '흑인 여성'과 같은 하위집단의 정확도가 향상됨을 확인했다.
• 정확도 격차가 상당히 감소했으며, 특히 Gender Shades 벤치마크에서 성별 분류 과제에서 최대 34%의 격차를 해소함을 확인했다.
• 소수자 그룹이 검증 세트에 부족하게 포함되어 있더라도, 사후처리가 전체 모델 정확도를 향상시켰다.
• 알고리즘이 효율적으로 수렴하며, 초기 모델이 잘 분류하는 하위집단에 대해서도 성능을 유지하거나 향상시켰다.
• 다양한 응용 분야(이미지 인식, 헬스케어 포함)에서 민감한 속성에 대한 명시적 지식 없이도 다중정확도 감시가 성능이 열등한 하위집단을 성공적으로 식별했다.
• 프레임워크는 도메인 적응 환경에서 복잡한 전이 학습 기법의 경량 블랙박스 대안으로 실용적인 유용성을 보였다.