[논문 리뷰] Leveraging Labeled and Unlabeled Data for Consistent Fair Binary Classification

Evgenii Chzhen, Christophe Denis외 3명|arXiv (Cornell University)|2019. 06. 12.

Ethics and Social Impacts of AI참고 문헌 4인용 수 18

한 줄 요약

이 논문은 Equal Opportunity 제약 조건 하에서 fair한 이진 분류를 위한 준감독형 플러그인 방법을 제안한다. 라벨이 붙은 데이터를 사용해 조건부 확률을 추정하고, 라벨이 없는 데이터를 사용해 그룹별로 특화된 결정 임계값을 校정한다. 이 방법은 통계적으로 일致하고 계산적으로 효율적이며, 라벨이 없는 데이터에서 유도된 임계값을 재보정함으로써 최적의 공정성과 분류 성능을 달성한다.

ABSTRACT

We study the problem of fair binary classification using the notion of Equal Opportunity. It requires the true positive rate to distribute equally across the sensitive groups. Within this setting we show that the fair optimal classifier is obtained by recalibrating the Bayes classifier by a group-dependent threshold. We provide a constructive expression for the threshold. This result motivates us to devise a plug-in classification procedure based on both unlabeled and labeled datasets. While the latter is used to learn the output conditional probability, the former is used for calibration. The overall procedure can be computed in polynomial time and it is shown to be statistically consistent both in terms of the classification error and fairness measure. Finally, we present numerical experiments which indicate that our method is often superior or competitive with the state-of-the-art methods on benchmark datasets.

연구 동기 및 목표

• Equal Opportunity 공정성 제약 조건 하에서 통계적으로 일치하고 계산적으로 효율적인 fair한 이진 분류 방법을 개발하기 위해.
• 그룹별로 다른 임계값을 가진 임계값이 적용된 베이즈 회귀모형으로서 최적의 fair한 분류기의 구성적 표현을 유도하기 위해.
• 라벨이 붙은 데이터(확률 추정을 위해)와 라벨이 없는 데이터(임계값 校정을 위해)를 모두 활용하는 플러그인 방법을 제안하기 위해.
• 이 방법이 어떤 사전 제작된 확률 추정기와도 호환되면서도 공정성과 분류 정확도를 유지할 수 있도록 보장하기 위해.

제안 방법

• 최적의 fair한 분류기는 조건부 확률 P(Y=1|X)의 베이즈 회귀모형을 그룹별로 다른 임계값으로 임계화한 것으로, 이는 민감한 그룹 간의 진짜 양성률을 동일하게 하기 위해 선택된다.
• 두 단계 절차를 제안한다: 첫째, 라벨이 붙은 데이터를 사용해 P(Y=1|X)를 추정한다; 둘째, 라벨이 없는 데이터를 사용해 그룹별로 특화된 임계값을 추정한다.
• 임계값 校정은 다항식 시간 내에 해결 가능한 단변수 최적화 문제로 공식화된다.
• 약한 정규성 가정 하에, 이 방법은 분류 위험과 공정성 측도 양쪽 모두에서 일관성을 보인다.
• 이 접근법은 일반적이며, SVM, 로지스틱 회귀, 랜덤 포레스트와 같은 어떤 일관된 확률 추정기와도 조합 가능하다.
• 이중성과 안장점 분석을 통해 이론적으로 일관성을 입증하였으며, 최적의 fair한 분류기로 수렴하는 것을 보였다.

실험 결과

연구 질문

• RQ1 Equal Opportunity 공정성 제약 조건 하에서 최적의 분류기의 명시적 형태는 무엇인가?
• RQ2 라벨이 붙은 데이터와 라벨이 없는 데이터를 모두 사용하는 준감독형 방법이 공정성과 분류 성능 양쪽에서 통계적으로 일관성을 달성할 수 있는가?
• RQ3 라벨이 없는 데이터만을 사용해 그룹별로 특화된 임계값을 효율적이고 일관적으로 추정할 수 있는가?
• RQ4 라벨이 없는 데이터를 사용한 fair한 분류에서 일관성을 확보하기 위한 최소한의 가정은 무엇인가?
• RQ5 제안된 방법이 최신 기술 수준의 fair learning 접근법과 실증적으로 어떻게 비교되는가?

주요 결과

• 최적의 Equal Opportunity 분류기는 그룹별로 다른 임계값을 가진 베이즈 회귀모형을 임계화함으로써 도출되며, 이는 논문에서 명시적으로 유도되었다.
• 제안된 방법은 통계적으로 일관성 있다: 표본 크기가 증가함에 따라 분류 오차와 공정성 측도가 모두 최적의 값으로 수렴한다.
• COMPAS, Adult, German, Arrhythmia, Drug 등의 벤치마크 데이터셋에서 최신 기술 수준의 방법들과 비교해 우수하거나 경쟁 가능한 성능을 달성했다.
• 실험 결과, 이 방법은 Disparate Equal Opportunity(DEO) 지표를 크게 감소시켰다 — 예를 들어, Adult 및 German 데이터셋에서 DEO ≈ 0.02를 달성하였다. 동시에 높은 정확도를 유지했다.
• 라벨이 없는 데이터에 기반한 校정 단계는 계산적으로 효율적이며, 단일 변수 최적화 문제로 축소된다.
• 민감한 속성이 모델의 기능 형식에 포함되지 않은 경우에도 이 방법은 효과적이며, 이는 강건성과 일반화 능력을 보여준다.