[논문 리뷰] Fairness Constraints: Mechanisms for Fair Classification

Muhammad Bilal Zafar, Isabel Valera외 2명|arXiv (Cornell University)|2015. 07. 19.

Ethics and Social Impacts of AI인용 수 333

한 줄 요약

이 논문은 로지스틱 회귀 및 서포트 벡터 머신(SVM)과 같은 컨벡스 마진 기반 분류기의 경우, 결정 경계의 공분산 기반 측도를 사용하여 이산적 대우(disparate treatment)와 이산적 영향(disparate impact)을 동시에 방지하는 새로운 정의 기반 제약 메커니즘을 제안한다. 이 방법은 정확도와 공정성 간의 미세 조절 가능한 트레이드오프를 가능하게 하며, 80% 규칙과 사업 필요성 조항을 준수하면서도 높은 모델 성능을 유지한다.

ABSTRACT

Algorithmic decision making systems are ubiquitous across a wide variety of online as well as offline services. These systems rely on complex learning methods and vast amounts of data to optimize the service functionality, satisfaction of the end user and profitability. However, there is a growing concern that these automated decisions can lead, even in the absence of intent, to a lack of fairness, i.e., their outcomes can disproportionately hurt (or, benefit) particular groups of people sharing one or more sensitive attributes (e.g., race, sex). In this paper, we introduce a flexible mechanism to design fair classifiers by leveraging a novel intuitive measure of decision boundary (un)fairness. We instantiate this mechanism with two well-known classifiers, logistic regression and support vector machines, and show on real-world data that our mechanism allows for a fine-grained control on the degree of fairness, often at a small cost in terms of accuracy.

연구 동기 및 목표

• 자동화된 의사결정 시스템에서 이산적 대우와 이산적 영향을 모두 피하는 공정한 분류기 설계의 과제를 해결하기 위해.
• 특히 80% 규칙과 사업 필요성 조항을 포함한 차별 금지법에 준수할 수 있도록 데이터 기반 학습 환경에서 가능하게 하기 위해.
• 이미 존재하는 컨벡스 마진 기반 분류기에 계산 복잡도를 증가시키지 않고 통합할 수 있는 융통성 있고 컨벡스하며 확장 가능한 메커니즘을 개발하기 위해.
• 다양한 민감한 속성에 적용 가능한 정확도와 공정성 간의 명확한 트레이드오프 메커니즘을 제공하기 위해.
• 추론 시 민감한 속성 정보를 사용하지 않음으로써 이산적 대우를 피할 수 있도록 보장하기 위해.

제안 방법

• 민감한 속성과 분류기의 결정 경계로부터의 부호 거리 사이의 공분산을 기반으로 한 새로운 공정성 측도를 제안한다.
• 이 공분산을 80% 규칙의 대체 지표로 사용하여 공정한 분류기 학습에서 계산 가능한 최적화를 가능하게 한다.
• 서로 보완되는 두 가지 수식을 개발한다: 하나는 공정성 제약 하에서 정확도를 최대화하는 것(비차별 정책 준수용), 다른 하나는 정확도 제약 하에서 공정성을 최대화하는 것(사업 필요성 준수용).
• 로지스틱 회귀와 SVM의 최적화 과정에 공정성 제약을 컨벡스 페널티로 통합하여 원래의 계산 복잡도를 유지한다.
• 공정성 최대화 수식에서 비보호 개인의 예측을 유지하기 위해 이중 단계 학습 전략을 적용한다.
• 초기 공분산에 대한 임계값 설정 메커니즘을 도입하여 다양한 민감한 속성에 대해 공정성 수준을 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 추론 시 민감한 속성을 사용하지 않음으로써 이산적 대우를 방지할 수 있는 분류의 공정성은 어떻게 강제할 수 있는가?
• RQ2 이산적 영향에 대한 80% 규칙을 효과적으로 대체할 수 있는 계산 가능한 결정 경계 공정성 측도를 유도할 수 있는가?
• RQ3 차별 금지법의 사업 필요성 조항을 공정 학습 프레임워크에 공식적으로 통합할 수 있는가?
• RQ4 컨벡스 마진 기반 분류기에서 정확도와 독립적으로 공정성을 얼마나 제어할 수 있는가?
• RQ5 제안된 방법은 다수의 민감한 속성과 실제 데이터셋에서 얼마나 잘 작동하는가?

주요 결과

• 제안된 공정성 메커니즘은 실세계 데이터셋에서 일반적으로 정확도 손실이 미미한 수준에서 공정성 수준을 미세 조절할 수 있다.
• 공분산 임계값이 낮아질수록 양성 클래스에 속한 보호 대상 및 비보호 개인의 비율이 점점 더 균형을 이루며, 80% 규칙에 부합하는 공정성에 가까워진다.
• 테스트 시 민감한 속성을 사용하지 않음으로써 80% 규칙 준수를 달성하면서도 이산적 대우를 피할 수 있다.
• 미세 조절 가능한 제약 조건을 적용한 공정성 최대화 수식은 표준 공정성 제약보다 비보호 개인의 양성 예측을 더 많이 유지하지만, 약간의 정확도 손실이 수반된다.
• 희귀 그룹에 대해 공분산 추정이 덜 정확하더라도, 희소한 민감한 속성 값(예: '기타' 인종)이 있는 경우에도 이 프레임워크는 효과적이다.
• 유연성 면에서 최신 기술보다 뛰어나며, 다수의 민감한 속성과 공정성-정확도 트레이드오프의 두 가지 모드를 모두 지원한다.