[논문 리뷰] Classification with Fairness Constraints: A Meta-Algorithm with Provable Guarantees

L. Elisa Celis, Lingxiao Huang외 2명|arXiv (Cornell University)|2018. 06. 15.

Ethics and Social Impacts of AI참고 문헌 42인용 수 29

한 줄 요약

이 논문은 예측 정확도 손실을 최소화하면서도 다양한 편향 제약 조건—예측 정밀도, 통계적 평등성, 등가된 우도—을 모두 충족시키는 새로운 메타알고리즘을 제안한다. 이는 편향 제약 조건을 볼록 최적화 문제로 변환함으로써 보장 가능한 편향 보장 기능을 가능하게 하며, 복잡한 편향 제약 조건을 일반화된 그룹 편향 프레임워크로 축소시켜 여러 데이터셋과 편향 측정 지표에서 거의 완벽한 편향을 달성한다.

ABSTRACT

Developing classification algorithms that are fair with respect to sensitive attributes of the data has become an important problem due to the growing deployment of classification algorithms in various social contexts. Several recent works have focused on fairness with respect to a specific metric, modeled the corresponding fair classification problem as a constrained optimization problem, and developed tailored algorithms to solve them. Despite this, there still remain important metrics for which we do not have fair classifiers and many of the aforementioned algorithms do not come with theoretical guarantees; perhaps because the resulting optimization problem is non-convex. The main contribution of this paper is a new meta-algorithm for classification that takes as input a large class of fairness constraints, with respect to multiple non-disjoint sensitive attributes, and which comes with provable guarantees. This is achieved by first developing a meta-algorithm for a large family of classification problems with convex constraints, and then showing that classification problems with general types of fairness constraints can be reduced to those in this family. We present empirical results that show that our algorithm can achieve near-perfect fairness with respect to various fairness metrics, and that the loss in accuracy due to the imposed fairness constraints is often small. Overall, this work unifies several prior works on fair classification, presents a practical algorithm with theoretical guarantees, and can handle fairness metrics that were previously not possible.

연구 동기 및 목표

• 비볼록 편향 제약 조건에 대해 기존의 공정 분류 알고리즘에서 보장 가능한 편향 보장이 부족한 문제를 해결한다.
• 예측 정밀도, 통계적 평등성, 등가된 우도와 같은 다양한 편향 정의를 하나의 알고리즘 프레임워크로 통합한다.
• 이전에는 비볼록 최적화로 인해 해결이 어려웠던 편향 제약 조건(특히 잘못된 발견률 및 잘못된 배제율과 같은 지표)을 사용할 수 있도록 한다.
• 사용자가 정의한 편향 임계값을 충족시키며, 편향과 정확도의 상호 교환 관계에 대한 이론적 보장을 제공한다.
• 이전 연구를 확장하여 다중의 상호 중첩되는 민감한 속성과 이진 그룹 편향을 초월한 일반화된 편향 지표를 동시에 처리할 수 있도록 한다.

제안 방법

• 민감한 그룹에 대한 성능 함수를 통해 편향 제약 조건을 모델링한 제약 최적화 문제로 공정 분류 문제를 수식화한다.
• 편향 지표의 새로운 변환을 통해 일반 편향 제약 조건(예: 예측 정밀도)을 볼록 성질을 가진 그룹 편향 제약 조건의 가족으로 환원한다.
• 볼록 완화와 이중성 기반의 핵심 알고리즘을 개발하여 효율적인 최적화와 이론적 수렴 보장을 가능하게 한다.
• 어떤 편향 지표(예: 잘못된 발견률, 잘못된 배제률)를 입력으로 받아도, 매개변수화된 성능 함수를 통해 볼록 그룹 편향 프레임워크로 매핑하는 메타알고리즘 프레임워크를 적용한다.
• 선형 분수 성능 함수를 사용하여 예측 정밀도와 같은 편향 지표를 모델링함으로써 볼록 최적화 기법을 적용할 수 있도록 한다.
• 일반화된 편향 함수와 반복 정밀화 기법을 사용하여 다중 민감한 속성과 다중 편향 제약 조건을 동시에 처리할 수 있도록 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 일관된 이론적 보장을 제공하면서도 광범위한 편향 제약 조건을 처리할 수 있는 단일 메타알고리즘을 설계할 수 있는가?
• RQ2 예측 정밀도와 같은 비볼록 편향 제약 조건은 어떻게 볼록 최적화 문제로 환원할 수 있는가?
• RQ3 제안된 알고리즘이 다양한 편향 지표에서 높은 편향 수준을 달성하면서도 정확도 저하를 최소화할 수 있는가?
• RQ4 실제 데이터셋인 COMPAS와 Heart에서 알고리즘은 잘못된 발견률 및 잘못된 배제률과 같은 지표에서 어떻게 성능을 발휘하는가?
• RQ5 이 프레임워크는 다중의 겹치는 민감한 속성과 다중 편향 제약 조건을 동시에 처리할 수 있도록 확장될 수 있는가?

주요 결과

• FICO COMPAS 데이터셋에서 알고리즘은 거의 완벽한 편향(예: γ_FDR ≈ 0.99)을 달성하며, SHIFT 및 COV와 같은 기준 알고리즘보다 편향 지표에서 뛰어난 성능을 보였다.
• 잘못된 발견률(FDR) 편향에 대해, Algo 1 -FDR은 COMPAS에서 최대 편향 점수(γ_FDR) 0.80을 기록했지만, SHIFT는 0.98에 이를 것으로 나타나 데이터 분포 가정에 민감한 것으로 나타났다.
• Algo 1 -SR는 정확도가 6% 감소(0.83에서 0.77로)했음에도 불구하고 편향 점수(γ_SR) 0.89를 기록하여 강력한 편향-정확도 트레이드오프를 보였다.
• 제약 조건이 없는 최적의 분류기는 83%의 정확도를 달성했고, Algo 1 -SR는 이를 77%로 낮추었지만, 여러 지표에서 편향을 향상시켰으며, 양성 예측률(γ_PPR)에 대해 90%의 점수를 기록했다.
• Algo 1 -FDR는 정확도를 0.83로 유지하면서도 잘못된 발견률에 대해 85%의 편향 수준(γ_FDR)을 달성하여, COV 및 FPR-COV 기준 알고리즘보다 정확도 수준과 유사하면서도 더 뛰어난 편향 성능을 보였다.
• 이 프레임워크는 예측 정밀도(잘못된 발견률 및 잘못된 배제 정밀도 포함)에 대해 보장 가능한 편향 보장을 제공함으로써 공정한 머신러닝 분야에서 오랫동안 미해결이었던 문제를 해결했다.