[논문 리뷰] What is Fair? Exploring Pareto-Efficiency for Fairness Constraint Classifiers

Alyssa Lees, Ananth Balashankar외 2명|arXiv (Cornell University)|2019. 10. 30.

Ethics and Social Impacts of AI참고 문헌 35인용 수 5

한 줄 요약

이 논문은 하위군 간 성능 저하를 최소화하면서 정확도를 균일하게 최대화하는, 페어니스 하이퍼플레인에 가장 가까운 파레토 최적점으로 구성된 공정성 인식 분류 프레임워크인 파레토 효율적 공정성(PEF)을 제안한다. UCI 데이터셋에서의 실험 결과, PEF는 엄격한 공정성 제약 조건에 비해 모든 하위군의 정확도를 뛰어나거나 동일하게 유지한다.

ABSTRACT

The potential for learned models to amplify existing societal biases has been broadly recognized. Fairness-aware classifier constraints, which apply equality metrics of performance across subgroups defined on sensitive attributes such as race and gender, seek to rectify inequity but can yield non-uniform degradation in performance for skewed datasets. In certain domains, imbalanced degradation of performance can yield another form of unintentional bias. In the spirit of constructing fairness-aware algorithms as societal imperative, we explore an alternative: Pareto-Efficient Fairness (PEF). Theoretically, we prove that PEF identifies the operating point on the Pareto curve of subgroup performances closest to the fairness hyperplane, maximizing multiple subgroup accuracy. Empirically we demonstrate that PEF outperforms by achieving Pareto levels in accuracy for all subgroups compared to strict fairness constraints in several UCI datasets.

연구 동기 및 목표

• 불균형 데이터셋에서 엄격한 공정성 제약 조건을 적용할 경우 하위군 간 성능 저하가 비균형적으로 발생하는 문제를 해결하기 위해.
• 공정성을 훼손하지 않으면서 하위군 성능을 최적으로 균형 잡는 공정성 인식 분류 방법을 개발하기 위해.
• 하위군 정확도의 파레토 프론티어 상에서 공정한 성능을 달성하는 최적의 운영점을 식별하기 위해.
• 공정성 제약 조건 하에서 발생하는 의도하지 않은 편향을 최소화하기 위해.

제안 방법

• 하위군 정확도에 대한 다중 목적 최적화 문제로 공정성을 정의하며, 공정성은 페어니스 하이퍼플레인에의 근접도로 정의된다.
• 공정성을 유지하면서 최소 하위군 정확도를 최대화하는 성능 프론티어 상의 파레토 효율적 점을 식별한다.
• 제약 조건이 있는 최적화를 통해 파레토 곡선 상에 있으며, 페어니스 하이퍼플레인에 가장 가까운 모델 설정을 찾는다.
• 공정성과 하위군 성능 간의 트레이드오프를 평가하기 위해 표준 UCI 데이터셋에 이 방법을 적용한다.
• 민감한 하위군 간 정확도 동등성 지표를 사용하여 PEF를 엄격한 공정성 제약 조건과 비교한다.
• 파레토 프론티어의 기하학적 성질을 활용하여 최적의 공정성-성능 트레이드오프를 보장한다.

실험 결과

연구 질문

• RQ1 불균형 데이터셋에서 엄격한 공정성 제약 조건에 비해 공정성 인식 분류기가 모든 하위군에서 더 뛰어나거나 동일한 성능을 달성할 수 있는가?
• RQ2 페어니스 하이퍼플레인에 가장 가까운 파레토 최적점으로 식별된 점이 더 균형 잡힌 하위군 성능을 이끌어내는가?
• RQ3 PEF는 기존의 공정성 제약 조건과 비교해 하위군 정확도와 공정성 간 트레이드오프 측면에서 어떻게 다른가?
• RQ4 페어니스 하이퍼플레인에 가장 가까운 파레토 점을 최적의 공정성 트레이드오프로 선택하는 데 이론적 근거가 있는가?

주요 결과

• PEF는 모든 하위군에서 파레토 수준의 정확도를 달성하며, 엄격한 공정성 지표로 제약된 모델보다 뛰어난 성능을 보인다.
• 이 방법은 공정성을 유지하면서 최소 하위군 정확도를 최대화하는 단일 운영점을 파레토 곡선 상에서 식별한다.
• UCI 데이터셋에서의 실험 결과, PEF는 엄격한 공정성 제약 조건에 비해 하위군 간 성능 저하의 비균형을 감소시킨다.
• 이론적 분석을 통해 PEF가 파레토 프론티어 상에서 페어니스 하이퍼플레인에 가장 가까운 공정성 최적화 점을 선택한다는 것이 확인된다.
• PEF는 왜곡된 데이터셋에서 성능이 균일하게 저하되는 공정성 제약 조건에 대한 원칙적인 대안을 제공한다.
• 특히 데이터 클래스 불균형이 있는 경우, 기존 방법보다 공정성과 성능을 더 효과적으로 균형 잡는다.