[논문 리뷰] On the relation between accuracy and fairness in binary classification

Indrė Žliobaitė|arXiv (Cornell University)|2015. 05. 21.

Machine Learning and Data Classification참고 문헌 3인용 수 92

한 줄 요약

이 논문은 이元 분류에서 공정성-정확도 트레이드오프 평가에 대한 심각한 결함을 규명한다: 다른 긍정 예측 비율(수용 비율)을 가진 분류기들을 비교할 경우 오해를 낳는 결론을 이끌 수 있다. 이를 해결하기 위해 각 수용 비율에서의 기준 성능을 기반으로 정확도 및 차별성 지표를 정규화하는 방법을 제안하며, 표준 비교 방식이 명목상의 공정성이 향상되더라도 증폭된 차별성을 가리킬 수 있음을 보여준다.

ABSTRACT

Our study revisits the problem of accuracy-fairness tradeoff in binary classification. We argue that comparison of non-discriminatory classifiers needs to account for different rates of positive predictions, otherwise conclusions about performance may be misleading, because accuracy and discrimination of naive baselines on the same dataset vary with different rates of positive predictions. We provide methodological recommendations for sound comparison of non-discriminatory classifiers, and present a brief theoretical and empirical analysis of tradeoffs between accuracy and non-discrimination.

연구 동기 및 목표

• 다른 긍정 예측 비율을 가진 비차별성 분류기 간의 성능 비교가 오해를 낳을 수 있는 위험을 드러내기 위해.
• 다른 수용 비율을 가진 분류기 간에 표준 정확도 및 차별성 지표가 비교 가능하지 않다는 주장을 펼기 위해.
• 각 수용 비율에서의 기준 성능를 고려한 정규화된 지표(정확도용 κ, 차별성용 δ)를 제안하기 위해.
• 편향된 데이터로 학습된 분류기들이 명목상의 공정성이 향상되더라도 잠재적 차별성을 증폭시킬 수 있음을 보여주기 위해.
• 수용 비율 조정된 성능 측정 기반으로 공정성 인식 기계학습 모델 평가에 체계적인 엄밀함을 요구하기 위해.

제안 방법

• 같은 수용 비율 π에서의 무작위 기준 성능와 비교하여 분류기 성능를 정규화함으로써 정확도를 정규화하는 방법을 제안함.
• 정규화된 차별성 측정치 δ = d / d_max(π)를 도입함. 여기서 d_max(π)는 수용 비율 π에서 가능한 최대 차별성임.
• 모든 유리한 집단 구성원이 보호받는 집단 구성원보다 먼저 수용되는 경우를 고려해 차별성의 이론적 상한선을 사용함.
• UCI Adult 데이터셋을 사용해 로지스틱 회귀, 나이브 베이즈, 결정 트리를 활용해 다양한 임계값에서의 성능 평가를 수행함.
• 훈련 레이블을 조정하고 보호 속성을 강제로 제거함으로써 0차별성을 확보하면서도 원래의 수용 비율을 유지하는 '마사지' 기법을 적용함.
• 다양한 수용 비율에서 보호 속성이 포함되었는지 여부, 데이터 전처리가 이루어졌는지 여부에 따라 분류기를 실증적으로 비교함.

실험 결과

연구 질문

• RQ1 수용 비율을 다양하게 조절할 경우 비차별성 분류기에서 정확도 및 공정성 지표의 비교 가능성은 어떻게 영향을 받는가?
• RQ2 다른 긍정 예측 비율을 가진 분류기들 간에 표준 정확도 및 차별성 비교가 왜 오해의 소지가 있는가?
• RQ3 주어진 수용 비율에서 이론적으로 가능한 최대 차별성은 무엇이며, 이를 어떻게 정규화된 공정성 지표에 활용할 수 있는가?
• RQ4 수용 비율이 다를 경우, 데이터 재가중 또는 속성 제거와 같은 표준 공정성 기법이 실제로 잠재적 차별성을 얼마나 줄이는가?
• RQ5 원시 지표와 비교했을 때 정규화된 지표(κ 및 δ)는 공정성-정확도 비교의 타당성을 얼마나 향상시키는가?

주요 결과

• 원본 데이터보다 낮은 수용 비율을 가진 분류기들은 명목상의 차별성(d)은 향상되지만, 정규화된 차별성(δ)은 심각하게 악화되어 실제 공정성은 악화됨을 시사함.
• 훈련에 보호 속성을 사용할 경우, 명목상의 차별성(d)이 감소하더라도 정규화된 차별성(δ)은 원본 데이터를 초월해 증가함.
• 보호 속성을 제거해도 특성 간 상관관계로 인한 간접적 차별성(레드라인 효과)이 여전히 존재하여, 원본 데이터보다 더 높은 δ를 유도함.
• '마사지' 기법은 수용 비율을 원본 데이터에 가깝게 유지하고 명목상의 차별성(d)을 감소시키지만, 과도하게 조정되거나 반대 방향의 차별성을 유도할 수 있음.
• 정규화된 지표(κ 및 δ)는 일부 분류기가 원본 데이터보다 공정성 측면에서 열 劣하다는 것을 드러내며, 원시 지표에서는 오히려 더 나은 것으로 보일 수 있음.
• 분류기 간 수용 비율(π)이 다를 경우 원시 정확도(A) 및 차별성(d)의 성능 비교는 타당하지 않으며, 정규화된 지표가 타당한 평가를 위해 필수적임.