[논문 리뷰] What is Fair? Exploring Pareto-Efficiency for Fairness Constrained Classifiers

Ananth Balashankar, Alyssa Lees외 2명|arXiv (Cornell University)|2019. 10. 30.

Psychology of Moral and Emotional Judgment인용 수 4

한 줄 요약

이 논문은 페어레토 최적 경계선 상의 모델을 선택하여 민감 속성에 따른 하위군 정확도를 최적화함으로써 성능 저하를 방지하는 페어레토 효율성 공정성(Pareto-Efficient Fairness, PEF)을 제안한다. 페어레토 손실 함수를 통해 편향을 가중한 균형 잡힌 공정성과 성능을 추구함으로써, UCI 데이터셋에서 엄격한 공정성 제약 조건보다 모든 하위군에서 정확도가 높다.

ABSTRACT

The potential for learned models to amplify existing societal biases has been broadly recognized. Fairness-aware classifier constraints, which apply equality metrics of performance across subgroups defined on sensitive attributes such as race and gender, seek to rectify inequity but can yield non-uniform degradation in performance for skewed datasets. In certain domains, imbalanced degradation of performance can yield another form of unintentional bias. In the spirit of constructing fairness-aware algorithms as societal imperative, we explore an alternative: Pareto-Efficient Fairness (PEF). Theoretically, we prove that PEF identifies the operating point on the Pareto curve of subgroup performances closest to the fairness hyperplane, maximizing multiple subgroup accuracy. Empirically we demonstrate that PEF outperforms by achieving Pareto levels in accuracy for all subgroups compared to strict fairness constraints in several UCI datasets.

연구 동기 및 목표

• 기계학습에서 엄격한 공정성 제약 조건을 적용할 경우 성능 저하가 발생하는 소수자 하위군 문제를 해결하기 위해.
• 모든 하위군의 정확도를 극대화하면서도 공정성을 희생시키지 않는 공정성 인지 학습 프레임워크를 제안하기 위해.
• 페어레토 효율성이 공정성 제약 분류에서 딱딱한 등가 제약 조건보다 더 균형 잡히고 효과적인 대안임을 보여주기 위해.
• 현실 세계의 비대칭 데이터셋에서 기존의 공정성 알고리즘보다 PEF가 더 높은 전반적 및 하위군 정확도를 달성하는지 경험적으로 보여주기 위해.

제안 방법

• 전반적 정확도와 하위군 공정성을 균형 잡기 위해 페어레토 최적 성능 점으로부터의 거리를 최소화하는 페어레토 손실 함수를 도입한다.
• 이동 학습을 사용하여 반복적으로 페어레토 최적 모델을 탐색함으로써 하위군 성능를 향상시키면서도 공정성을 유지한다.
• 전역 정확도와 페어레토 효율성 사이의 트레이드오프를 제어하기 위해 단일 편향 손실 가중치(λ)를 사용하며, 하위군 간 동일한 가중치를 적용하여 다수자 중심의 영향을 방지한다.
• 하위군의 출현 빈도를 가중하는 공정성 방식의 단점을 피하기 위해 동일한 하위군 가중치를 적용함으로써 소수자 그룹이 간과되지 않도록 보장한다.
• 다양한 능력 수준의 피드포워드 신경망을 사용하여 다중 클래스 분류에 프레임워크를 적용하며, 다수의 민감 속성을 수용한다.
• 사전 처리 단계에서 하위군의 의사 최적 정확도를 계산하여 페어레토 경계선 탐색을 안내함으로써 데이터 편향에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 엄격한 공정성 제약 조건을 적용할 경우 성능 저하가 발생하는 소수자 하위군을 방지하면서도 모든 그룹의 정확도를 향상시킬 수 있는 공정성 제약 조건을 설계할 수 있는가?
• RQ2 페어레토 효율성 공정성은 하위군 정확도와 전반적 성능 측면에서 엄격한 등가 제약 조건보다 어떻게 비교되는가?
• RQ3 하위군 손실에 동일한 가중치를 적용함으로써 다수자의 '폭압' 현상이 공정성 최적화 모델에서 방지되는가?
• RQ4 모델 용량이 페어레토 손실 함수로 달성 가능한 성과에 미치는 영향은 어느 정도인가?
• RQ5 PEF는 현실 세계의 데이터셋에서 등가 오차 및 적대적 다중 작업 학습과 같은 기존의 공정성 알고리즘을 능가할 수 있는가?

주요 결과

• PEF는 UCI Adult, German Credit, Heart Attack 데이터셋에서 엄격한 공정성 제약 조건보다 모든 하위군의 정확도가 높다.
• UCI Adult 데이터셋에서 PEF는 기준 방법 대비 하위군 정확도를 최대 12.5% 향상시켰으며, 모델 크기가 클수록 성과 향상이 더 두드러졌다.
• 모델 용량이 증가함에 따라 페어레토 손실 함수는 등가 오차 손실 대비 20-30% 감소시켰다.
• 손실 함수 내에서 하위군에 동일한 가중치를 적용함으로써 다수자 그룹이 공정성 최적화 과정에서 지배하는 것을 방지하였으며, 잘못된 공정성 지표를 피할 수 있었다.
• 전역 및 하위군 정확도 측면에서 PEF는 적대적 다중 작업 학습 및 하드 제약 조건 기반 공정성 기준보다 뛰어난 성능을 보였다.
• 합성 데이터에서 PEF는 하위군 정확도를 모두 향상시키는 페어레토 경계선 상의 점(0.71, 0.63)을 선택하였으며, 이는 엄격한 등가 점(0.6, 0.6)보다 성능이 뛰어났다.