[논문 리뷰] The cost of fairness in classification

Aditya Krishna Menon, Robert C. Williamson|arXiv (Cornell University)|2017. 05. 25.

Law, AI, and Intellectual Property인용 수 15

한 줄 요약

이 논문은 비용 감수성 위험에 대한 정당화 조건을 모델링함으로써 이元 분류에서 공정성과 정확성의 상호 교환 관계를 정량화하는 프레임워크를 제안한다. 최적의 공정한 분류기는 클래스 확률 함수에 대한 인스턴스별 임계값 설정임을 보이며, 공정성 제약으로 인한 성능 저하를 측정하는 '불일치도' 측도를 도입한다.

ABSTRACT

We study the problem of learning classifiers with a fairness constraint, with three main contributions towards the goal of quantifying the problem's inherent tradeoffs. First, we relate two existing fairness measures to cost-sensitive risks. Second, we show that for cost-sensitive classification and fairness measures, the optimal classifier is an instance-dependent thresholding of the class-probability function. Third, we show how the tradeoff between accuracy and fairness is determined by the alignment between the class-probabilities for the target and sensitive features. Underpinning our analysis is a general framework that casts the problem of learning with a fairness requirement as one of minimising the difference of two statistical risks.

연구 동기 및 목표

• 감수성 특성(attribute)이 있는 지도 학습 분류에서 공정성과 정확성의 상호 교환 관계를 체계화하는 것.
• 공정성 제약 조건이 최적의 분류기의 구조에 어떤 영향을 미치는지 분석하는 것.
• 목표 특성와 감수성 특성 간의 정렬도 측도를 사용하여 공정성 요구 사항으로 인한 성능 저하를 정량화하는 것.

제안 방법

• 예측 성능와 공정성에 대한 통계적 위험 간의 차이를 최소화하는 방식으로 공정성 인식 학습을 공식화한다.
• 레마 1과 레마 2를 통해 일반적인 두 가지 공정성 측도인 인구 구성 동등성과 동등한 오dds를 비용 감수성 위험 공식으로 환원한다.
• 베이즈 최적의 공정한 분류기는 클래스 확률 함수 η(x)에 대한 인스턴스별 임계값 설정이며, 이 임계값은 비용 매개변수와 공정성 제약 조건에 의해 결정됨을 도출한다.
• 목표 특성과 감수성 특성 간의 클래스 확률 간 불일치 정도를 측정하는 불일치도 함수를 도입하며, 이는 성능 저하를 이끄는 핵심 요소이다.
• 목표 특성과 감수성 특성에 대해 별도의 모델을 훈련한 후, 임계값 설정을 통해 통합하여 공정성 인식 분류를 달성하는 플러그인 추정기(Plugin estimator)를 제안한다.
• 실험에서 상호 교환 관계를 평가하기 위해 COV 방법과 균형 오차 위험을 활용하였으며, 독일 신용 데이터셋에서 이론적 프레임워크를 검증하였다.

실험 결과

연구 질문

• RQ1 분류에서 공정성 제약 조건은 어떻게 비용 감수성 위험 최소화와 체계적으로 연결될 수 있는가?
• RQ2 비용 감수성 위험에 대한 공정성 제약 조건 하에서 최적의 분류기의 구조적 형태는 무엇인가?
• RQ3 목표 특성과 감수성 특성의 확률 함수 간 정렬도는 공정성으로 인한 성능 비용에 얼마나 영향을 미치는가?
• RQ4 플러그인 기반 추정기는 기존 방법들과 비교해 경쟁 가능한 공정성-정확성 상호 교환 관계를 달성할 수 있는가?
• RQ5 클래스 확률 간 불일치도는 공정성 제약 조건 하에서 달성 가능한 최소 오차에 어떤 영향을 미치는가?

주요 결과

• 인구 구성 동등성과 동등한 오dds와 같은 공정성 측도는 비용 감수성 위험으로 재구성될 수 있으며, 이는 통합 최적화 프레임워크를 가능하게 한다.
• 최적의 공정성 인식 분류기는 클래스 확률 함수 η(x)에 대한 인스턴스별 임계값 설정이며, 이 임계값은 비용 매개변수와 공정성 제약 조건에 의해 결정된다.
• 공정성으로 인한 성능 저하는 목표 특성과 감수성 특성의 클래스 확률 함수 간 불일치 정도를 측정하는 불일치도 함수로 정량화된다.
• 목표 특성과 감수성 특성이 높은 정렬도를 보일 경우(낮은 불일치도), 공정성 제약 조건이 성능 저하에 거의 영향을 주지 않으며, 불일치도가 증가할수록 공정성의 비용이 증가한다.
• 독일 신용 데이터셋에 대한 실증 결과는 제안된 플러그인 추정기가 Zafar 등(2016)의 COV 방법과 경쟁 가능한 공정성-정확성 상호 교환 관계를 달성함을 보여준다.
• 이론적 분석을 통해 비용 감수성 위험과 기준 위험 간 격차의 부호가 불리한 영향 기준값과 일致함을 확인하여, 프레임워크의 예측 능력을 검증한다.