[논문 리뷰] Noise-tolerant fair classification

Alexandre Louis Lamy, Ziyuan Zhong외 2명|arXiv (Cornell University)|2019. 01. 01.

Ethics and Social Impacts of AI인용 수 17

한 줄 요약

이 논문은 민감한 특성(예: 자가 보고한 인종 또는 성별)이 신뢰할 수 없을 때에도 공정성을 유지할 수 있는 노이즈 내성 공정 분류 프레임워크를 제안한다. 평균 차이 공정성 점수에서의 단순한 항등식을 활용하여, 노이즈 비율 추정기를 통해 공정성 수용 범위를 조정함으로써, 민감한 특성이 누락되거나 잘못 보고된 경우에도 효과적인 공정 학습을 가능하게 한다.

ABSTRACT

Fairness-aware learning involves designing algorithms that do not discriminate with respect to some sensitive feature (e.g., race or gender). Existing work on the problem operates under the assumption that the sensitive feature available in one's training sample is perfectly reliable. This assumption may be violated in many real-world cases: for example, respondents to a survey may choose to conceal or obfuscate their group identity out of fear of potential discrimination. This poses the question of whether one can still learn fair classifiers given noisy sensitive features. In this paper, we answer the question in the affirmative: we show that if one measures fairness using the mean-difference score, and sensitive features are subject to noise from the mutually contaminated learning model, then owing to a simple identity we only need to change the desired fairness-tolerance. The requisite tolerance can be estimated by leveraging existing noise-rate estimators from the label noise literature. We finally show that our procedure is empirically effective on two case-studies involving sensitive feature censoring.

연구 동기 및 목표

• 민감한 특성이 자주 잘못 보고되거나 은폐되는 공정성 인식 학습의 격차를 해결하기 위해.
• 민감한 특성이 노이즈에 노출될 경우 공정 분류가 여전히 가능할지 조사하기 위해.
• 민감한 특성 데이터가 신뢰할 수 없더라도 공정성 보장을 유지할 수 있는 방법을 개발하기 위해.
• 민감한 특성의 은폐가 발생하는 실세계 상황을 고려한 실용적이고 경험적으로 효과적인 해결책을 제공하기 위해.

제안 방법

• 공정성 지표로 평균 차이 점수를 사용하여, 노이즈 내성 가능성을 보장하는 수학적 항등식을 가능하게 한다.
• 단순한 항등식을 적용하여 공정성 제약 조건을 변형함으로써, 노이즈가 있는 특성의 수정에서 공정성 수용 범위의 임계값 조정으로 부담을 이행한다.
• 기존 문헌의 레이블 노이즈 추정 기법을 활용하여 민감한 특성의 노이즈 비율을 추정한다.
• 추정된 노이즈 비율에 기반하여 원하는 공정성 수용 범위를 조정함으로써, 노이즈가 있는 입력에서도 공정성을 유지한다.
• 깨끗한 민감한 특성 레이블이 필요 없이 기존의 노이즈 비율 추정기법을 활용하여 공정성 제약 조건을 校정한다.
• 민감한 특성이 누락된 두 가지 실세계 사례 연구에서 접근 방식을 검증하여 경험적 안정성을 입증한다.

실험 결과

연구 질문

• RQ1 민감한 특성이 노이즈가 있거나 누락될 경우 공정 분류를 달성할 수 있는가?
• RQ2 민감한 특성의 노이즈가 머신러닝에서의 공정성 보장에 어떤 영향을 미치는가?
• RQ3 노이즈가 있는 민감한 특성 하에서 공정성을 유지하기 위해 공정성 제약 조건에 어떤 수정이 필요한가?
• RQ4 노이즈 비율 추정 기법을 신뢰할 수 없는 민감한 특성이 존재하는 상황에서 공정성을 향상시키는 데 적응시킬 수 있는가?

주요 결과

• 제안된 방법은 특성을 수정하는 대신 공정성 수용 범위의 임계값을 조정하여 노이즈가 있는 민감한 특성 하에서도 공정성을 유지한다.
• 이 접근은 공정성 수용 범위를 조정함으로써 재학습 없이도 노이즈 내성을 가능하게 하는 평균 차이 공정성 점수의 수학적 항등식에 의존한다.
• 레이블 노이즈 문헌에서 유래한 노이즈 비율 추정 기법이 성공적으로 공정성 제약 조건의 校정에 재사용되었다.
• 경험적 평가 결과, 민감한 특성의 누락이 발생하는 두 사례 연구에서 이 방법이 효과적임을 입증하였다.
• 이 방법은 깨끗한 민감한 특성 데이터가 있는 이상적인 상황과 비교해도 공정 분류 성능이 유사하게 유지된다.
• 이 프레임워크는 다양한 수준의 민감한 특성 노이즈에 대해 강건하여 실세계 환경에서의 실용적 타당성을 입증한다.