[논문 리뷰] Fair and Optimal Classification via Post-Processing

Ruicheng Xian, Lang Yin외 1명|arXiv (Cornell University)|2022. 11. 03.

Advanced Causal Inference Techniques인용 수 6

한 줄 요약

이 논문은 다중 클래스, 다중 군 분류에서 최적의 민감성 평등성을 달성하기 위해 후처리 방법을 제안하며, 최소 오차율을 워샤르스테인-바리센터 문제로 공식화한다. 사전 훈련된 점수 함수를 사용하여 최적 운반 이론을 통해 공정한 분류기를 도출함으로써, 공정성 제약 조건 하에서 가능한 한 낮은 오차율을 달성하며, 이는 이론적 보장과 벤치마크 데이터셋에서의 실증적 검증을 통해 입증된다.

ABSTRACT

To mitigate the bias exhibited by machine learning models, fairness criteria can be integrated into the training process to ensure fair treatment across all demographics, but it often comes at the expense of model performance. Understanding such tradeoffs, therefore, underlies the design of fair algorithms. To this end, this paper provides a complete characterization of the inherent tradeoff of demographic parity on classification problems, under the most general multi-group, multi-class, and noisy setting. Specifically, we show that the minimum error rate achievable by randomized and attribute-aware fair classifiers is given by the optimal value of a Wasserstein-barycenter problem. On the practical side, our findings lead to a simple post-processing algorithm that derives fair classifiers from score functions, which yields the optimal fair classifier when the score is Bayes optimal. We provide suboptimality analysis and sample complexity for our algorithm, and demonstrate its effectiveness on benchmark datasets.

연구 동기 및 목표

• 일반적인 다중 군, 다중 클래스 및 노이즈 있는 환경에서 분류 오차와 민감성 평등성 간의 본질적 트레이드오프를 규명하는 것.
• 민감성 평등성 하에서 속성 인식, 랜덤화된 분류기의 최소 달성 가능한 오차율을 규명하는 것.
• 사전 훈련된 점수 함수를 사용하여 최적의 공정성-성능 트레이드오프를 달성하는 실용적인 후처리 알고리즘을 개발하는 것.
• 제안된 방법에 대한 표본 복잡도 및 부분최적화 분석을 제공하는 것.
• 벤치마크 데이터셋에서의 실증적 검증을 통해 공정성-정확도 트레이드오프를 정밀하게 제어할 수 있음을 보여주는 것.

제안 방법

• 민감성 평등성 하에서의 최소 오차율은 각 군별 베이즈 최적 점수 함수에 대한 이완된 워샤르스테인-바리센터 문제의 최적값으로 특성화된다.
• 베이즈 최적 점수 함수와 바리센터 해로부터 유도된 최적 운반 지도를 조합하여 최적의 공정 분류기를 구성한다.
• 민감성 평등성을 강제하기 위해 선형 프로그래밍을 사용하여 어떤 사전 훈련된 점수 함수도 공정 분류기로 변환하는 후처리 알고리즘을 제안한다.
• 운반 지도 제약 조건 내의 타당한 점을 찾기 위해 이차 프로그래밍을 사용하여 마진 기반 일반화 성능을 향상시킨다.
• 유한 표본 추정을 위한 알고리즘을 구현하고 이론적 표본 복잡도 한계를 제공한다.
• 로지스틱 회귀 및 BERT 기반 모델을 사용하여 실세계 데이터셋인 ACSIncome, BiasBios, Adult, Communities에서 접근법을 평가한다.

실험 결과

연구 질문

• RQ1 일반적인 다중 군, 다중 클래스 및 노이즈 있는 환경에서 민감성 평등성 하에서 달성 가능한 최소 분류 오차는 무엇인가?
• RQ2 사전 훈련된 점수 함수로부터 최적의 공정 분류기는 어떻게 구성할 수 있는가?
• RQ3 이 일반적 환경에서 공정성과 정확도 간의 이론적 트레이드오프는 무엇인가?
• RQ4 제안된 후처리 방법은 기존의 공정 분류 알고리즘과 성능 및 표본 효율성 측면에서 어떻게 비교되는가?
• RQ5 제안된 알고리즘의 표본 복잡도와 부분최적화 정도는 무엇인가?

주요 결과

• 민감성 평등성 하에서의 최소 오차율은 군별 조건부 평균 분포에 대한 워샤르스테인-1 바리센터 문제의 최적값으로 주어진다.
• 최적의 공정 분류기는 바리센터 해로부터 유도된 최적 운반 지도와 베이즈 최적 점수 함수의 조합이다.
• 제안된 후처리 방법은 입력 점수 함수가 베이즈 최적일 경우 이론적 최소 오차율을 달성한다.
• 벤치마크 데이터셋에서, 이 방법은 기존의 FairProjection과 유사한 공정성 제약 조건 하에서도 정확도에서 뛰어난 성능을 보이며, 정밀한 공정성-정확도 트레이드오프 제어를 가능하게 한다.
• 알고리즘은 효율적으로 실행되며, 대규모 데이터셋에서 CPU에서 후처리 시간이 2초 이내이며, 다양한 랜덤 분할 및 모델 유형에 대해 강건성을 보여준다.
• 타당한 점을 찾기 위해 이차 프로그래밍을 사용함으로써 선형 프로그래밍 대비 오차율과 민감성 평등성 위반을 모두 감소시켜 성능을 향상시킨다.