[논문 리뷰] Beyond Adult and COMPAS: Fairness in Multi-Class Prediction

Wael Alghamdi, Hsiang Hsu외 5명|arXiv (Cornell University)|2022. 06. 15.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 정보 투영과 KL 발산을 사용하여 사전 훈련된 모델 출력을 공정성 제약 집합에 투영함으로써 다중 클래스 확률 분류기에서 그룹 공정성을 보장하는 확장성 있고 모델에 종속되지 않는 후처리 방법 FairProjection을 제안한다. 이는 경쟁 가능한 정확도-공정성 트레이드오프를 달성하며 100만 건이 넘는 샘플을 포함한 데이터셋에까지 스케일링되며, 대규모 ENEM 데이터셋에서 뛰어난 성능을 보이며 최신 기술보다 런타임과 확장성 면에서 뛰어나다.

ABSTRACT

We consider the problem of producing fair probabilistic classifiers for multi-class classification tasks. We formulate this problem in terms of "projecting" a pre-trained (and potentially unfair) classifier onto the set of models that satisfy target group-fairness requirements. The new, projected model is given by post-processing the outputs of the pre-trained classifier by a multiplicative factor. We provide a parallelizable iterative algorithm for computing the projected classifier and derive both sample complexity and convergence guarantees. Comprehensive numerical comparisons with state-of-the-art benchmarks demonstrate that our approach maintains competitive performance in terms of accuracy-fairness trade-off curves, while achieving favorable runtime on large datasets. We also evaluate our method at scale on an open dataset with multiple classes, multiple intersectional protected groups, and over 1M samples.

연구 동기 및 목표

• 다중 보호 그룹(상호작용 가능함)이 존재하는 다중 클래스 분류에 대해 확장성 있고 공정한 후처리 방법의 부족을 해결하기 위해.
• 기존의 이진 분류 및 Adult, COMPAS와 같은 일반적으로 사용되는 데이터셋을 넘어서 공정성 개선 기법을 확장하기 위해.
• 이론적으로 탄탄한, 병렬 처리가 가능한 알고리즘을 개발하여 공정성을 유지하면서도 예측 정확도를 유지하기 위해.
• 복잡한 교차 그룹 구조를 가진 대규모 실세계 데이터셋에서 공정성 방법을 평가하기 위해.
• 공정한 머신러닝 분야의 보다 넓은 벤치마킹을 촉진하기 위해 일반적으로 사용되는 데이터셋의 대안으로 ENEM 데이터셋을 소개하기 위해.

제안 방법

• 공정성은 정보 투영 문제로 공식화되며, KL 발산을 사용하여 사전 훈련된 확률 분류기를 공정성 제약이 있는 분포의 볼록 집합에 투영한다.
• 투영된 분류기는 원래 모델 출력의 곱셈적 후처리를 통해 얻어지며, 스케일링 요소는 그룹 공정성 제약에서 유도된다.
• 반복적이고 병렬 처리가 가능한 알고리즘이 최적의 스케일링 요소를 효율적으로 계산하여 GPU 가속과 대규모 배포를 가능하게 한다.
• 수렴성과 표본 복잡도에 대한 이론적 보장을 제공하여 유한한 훈련 데이터에서도 강건성을 확보한다.
• 모델에 종속되지 않으며, 아키텍처와 관계없이 어떤 사전 훈련된 확률 분류기에도 적용 가능하다.
• 알고리즘은 TensorFlow로 구현되어 공개되어 있어 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 이론적 가정인 알려진 분포에 기반하지 않고 유한한 데이터에서 정보 투영을 다중 클래스 공정성에 효과적으로 적용할 수 있는가?
• RQ2 대규모 데이터셋에서 최신 기술 수준의 공정성 간 interventions과 비교해 볼 때 FairProjection의 정확도-공정성 트레이드오프는 어떠한가?
• RQ3 100만 건 이상의 샘플을 포함한 데이터셋에서 FairProjection이 공정성을 유지하면서도 뛰어난 런타임 성능을 달성할 수 있는가?
• RQ4 실세계 고차원 데이터셋에서 복잡한 교차 보호 그룹에 대해 이 방법이 효과적으로 일반화되는가?
• RQ5 ENEM 데이터셋이 다중 클래스 학습에서 공정성 간 interventions 평가를 위한 실용적이고 대규모의 기준이 될 수 있는 정도는 어느 정도인가?

주요 결과

• FairProjection는 HSLS, Adult, COMPAS를 포함한 여러 데이터셋에서 경쟁 가능한 정확도-공정성 트레이드오프를 달성하며, 런타임 효율성 면에서 최신 기술 수준의 방법들을 능가한다.
• 알고리즘은 100만 건 이상의 샘플을 포함한 데이터셋, 예를 들어 브라질의 ENEM 데이터셋에 대해 효과적으로 스케일링되어 대규모 공정성 평가를 가능하게 한다.
• 실세계 교육 분류 과제에서 인종, 성별, 연령과 같은 다중 보호 그룹(상호작용 가능함)에 걸쳐 공정성을 유지한다.
• 이론적 수렴성과 표본 복잡도 보장을 확립하여 훈련 데이터가 제한된 경우에도 강건성을 확보한다.
• 구현은 병렬 처리가 가능하며 GPU에서 효율적으로 실행되어 비병렬 대안 대비 추론 시간을 크게 단축시킨다.
• 이 연구는 FairProjection가 개인정보 보호와 공정성에 영향을 주지 않으면서도 실세계 익명화된 대규모 데이터셋에 적용될 수 있음을 보여준다.