[논문 리뷰] Towards Threshold Invariant Fair Classification

Mingliang Chen, Min Wu|arXiv (Cornell University)|2020. 06. 18.

Ethics and Social Impacts of AI참고 문헌 19인용 수 4

한 줄 요약

이 논문은 감정 그룹 간 위험 점수 분포를 동일하게 하여 결정 임계값 변화에 대해 안정적인 정의적 공정성(Threshold-invariant fairness)을 제안한다. 히스토그램 근사와 정규 분포 가정을 사용하여 공정성의 안정성을 결정 임계값 변화에 대해 강화한다. 이 방법은 기준선의 제약 모델보다 공정성 지표(예: DP 및 EO)의 분산을 크게 감소시켜 일관성과 안정성 면에서 뛰어나다.

ABSTRACT

Effective machine learning models can automatically learn useful information from a large quantity of data and provide decisions in a high accuracy. These models may, however, lead to unfair predictions in certain sense among the population groups of interest, where the grouping is based on such sensitive attributes as race and gender. Various fairness definitions, such as demographic parity and equalized odds, were proposed in prior art to ensure that decisions guided by the machine learning models are equitable. Unfortunately, the "fair" model trained with these fairness definitions is threshold sensitive, i.e., the condition of fairness may no longer hold true when tuning the decision threshold. This paper introduces the notion of threshold invariant fairness, which enforces equitable performances across different groups independent of the decision threshold. To achieve this goal, this paper proposes to equalize the risk distributions among the groups via two approximation methods. Experimental results demonstrate that the proposed methodology is effective to alleviate the threshold sensitivity in machine learning models designed to achieve fairness.

연구 동기 및 목표

• 기존의 공정성 정의(예: 민족적 평등, 동일한 기회)가 결정 임계값 조정에 민감한 점을 해결하기 위해.
• 임계값 조정에 관계없이 그룹 간 동일한 분류기 성능을 보장하는 공정성 개념을 개발하기 위해.
• 보호 그룹 간 위험 점수 분포를 균형 조정하기 위한 두 가지 미분 가능한 방법(히스토그램 근사 및 정규 분포 가정)을 제안하기 위해.
• 로지스틱 회귀 및 SVM과 같은 다양한 미분 가능한 분류기와의 호환성을 확보하여 표준 학습 파이프라인에 통합 가능하게 하기 위해.
• 정확도를 희생시키지 않은 채 공정성 안정성이 향상됨을 입증하기 위해, 특히 동적 임계값 설정 조건에서 성능을 개선하기 위해.

제안 방법

• 분류 정합성보다 더 강력한 공정성 조건으로 임계값에 강인한 공정성을 도입하여, 모든 결정 임계값에서 일관된 공정성을 요구한다.
• 미분 가능한 가우시안 커널 근사를 사용한 N-박스 히스토그램으로 위험 점수 분포를 모델링하는 히스토그램 근사(HA)를 사용한다.
• 1차 및 2차 모멘트(평균 및 분산)만을 사용하여 위험 분포를 표현하는 가우시안 가정(GA)을 적용하여 계산 복잡도를 O(M)로 감소시킨다.
• 로지스틱 회귀 및 SVM과 같은 분류기의 학습 목표에 두 방법 모두를 미분 가능한 제약 조건으로 통합한다.
• 스토하스틱 경사 하강법을 사용하여 위험 분포 균형 조정을 최적화함으로써 배치 기반 학습을 딥 러닝 프레임워크와 호환 가능하게 한다.
• 모델 정확도를 유지하면서도 그룹 간 분포의 발산을 최소화함으로써 학습 중에 공정성 제약 조건이 강제되도록 보장한다.

실험 결과

연구 질문

• RQ1 현존하는 분류 정합성 정의를 넘어서, 결정 임계값 변화에 대해 공정성이 강인한 기계 학습의 공정성은 가능할 수 있는가?
• RQ2 감정 그룹 간 위험 점수 분포를 어떻게 균형 조정하여 임계값에 강인한 공정성을 달성할 수 있는가?
• RQ3 위험 분포 균형 조정을 모델링할 때 계산 효율성과 근사 정확성 간의 상충 관계는 어떠한가?
• RQ4 기존의 공정성 인식 학습 방법에 비해 제안된 방법이 다양한 결정 임계값 설정에서 공정성 일관성에 얼마나 기여하는가?
• RQ5 제안된 방법은 신경망을 포함한 다양한 유형의 미분 가능한 분류기로 일반화 가능한가?

주요 결과

• 기준선의 공정성 제약 모델에 비해 제안된 방법은 결정 임계값 변화에 따른 공정성 지표 변동(ΔDP 및 ΔEO)의 분산과 범위를 크게 감소시킨다.
• 가우시안 가정(GA) 방법은 히스토그램 근사(HA)와 유사한 공정성 성능를 달성하면서도 계산 복잡도를 O(M)으로 낮춰 더 효율적이다.
• 제안된 방법으로 학습된 분류기는 공정성 곡선의 미세한 변동을 보이며, 임계값 변화에 대해 강력한 강인성을 입증한다.
• 정확도를 유지하면서도 공정성 안정성이 향상되어, Zafar-DP 및 Zafar-EO에 비해 임계값에 강인한 공정성 지표에서 뛰어난 성능을 보였다.
• 이 방법들은 배치 기반 학습과 호환되며, 다중 속성 공정성 및 신경망 분류기로의 확장도 가능하다.
• 실험 결과는 위험 분포 균형 조정이 특히 동적 임계값 설정 조건에서 더 일관된 공정성 결과를 이끌어낸다는 것을 확인했다.