[논문 리뷰] Fair Classification with Noisy Protected Attributes: A Framework with Provable Guarantees

L. Elisa Celis, Lingxiao Huang외 2명|arXiv (Cornell University)|2020. 06. 08.

Explainable Artificial Intelligence (XAI)참고 문헌 51인용 수 8

한 줄 요약

이 논문은 노이즈가 있는 보호 특성에 대해 정당한 분류를 위한 새로운 최적화 프레임워크를 제안한다. 노이즈 제거된 정당성 제약을 사용하여, 뒤집힘 노이즈가 존재하는 상황에서도 증명 가능한 정확도와 정당성 보장을 유지한다. 이는 다중의 비이진 보호 특성과 일반적인 선형 분수 정당성 지표(예: 거짓 발견률)를 처리할 수 있으며, Adult 및 COMPAS와 같은 실제 데이터셋에서 높은 정당성과 최소한의 정확도 손실을 달성한다.

ABSTRACT

We present an optimization framework for learning a fair classifier in the presence of noisy perturbations in the protected attributes. Compared to prior work, our framework can be employed with a very general class of linear and linear-fractional fairness constraints, can handle multiple, non-binary protected attributes, and outputs a classifier that comes with provable guarantees on both accuracy and fairness. Empirically, we show that our framework can be used to attain either statistical rate or false positive rate fairness guarantees with a minimal loss in accuracy, even when the noise is large, in two real-world datasets.

연구 동기 및 목표

• 보호 특성(예: 인종, 성별)이 훈련 또는 배포 중에 뒤집힘 노이즈로 손상된 경우에 정당한 분류기 학습 문제를 해결하기 위해.
• 노이즈가 있는 보호 특성 입력에도 불구하고 정당성과 정확도 보장을 유지하는 통합 최적화 프레임워크를 개발하기 위해.
• 기존의 정당한 분류 방법을 다중 비이진 보호 특성과 광범위한 선형 분수 정당성 제약(예: 통계적 비율, 거짓 양성 비율, 거짓 발견률)을 지원하도록 확장하기 위해.
• 노이즈가 있는 데이터 하에서 정당성과 정확도에 대한 이론적 보장을 제공하고, 분류기 성능에 대한 고확률 경계를 포함하기 위해.
• 실제 데이터셋에서의 실험적 검증을 통해, 높은 노이즈 수준에 대해 강건하고 기존 방법보다 뛰어난 정당성-정확도 트레이드오프를 보여주기 위해.

제안 방법

• 노이즈 전환 행렬 $ H $ 를 이용해 알려진 노이즈 모델을 기반으로 보호 특성 레이블을 보정하는 노이즈 제거 단계를 도입하여, 보정된 정당성 제약을 구성한다.
• 노이즈 전환 행렬의 역행렬 $ (H^ op)^{-1} $ 로부터 유도된 보정된 정당성 제약을 포함하는 제약 최적화 문제(프로그램 DFair)를 수립한다.
• 덧셈형 및 곱셈형 정당성 제약을 모두 지원하며, 고위험 응용 분야에서 흔한 선형 분수 지표(예: 거짓 발견률)에 중점을 둔다.
• 모델 훈련을 위해 로지스틱 손실 함수를 사용하고, VC 차원과 라데마처 복잡도 기반 일반화 경계를 적용하여 고확률 성능 보장을 확보한다.
• 각 특성과 지표별로 노이즈 보정 및 제약 구성 과정을 일반화하여 다중 보호 특성과 다중 정당성 제약을 지원하도록 프레임워크를 확장한다.
• 이론적 분석을 통해 기저 데이터 분포와 노이즈 모델에 대한 약한 가정 하에, 노이즈 제거 문제에서 유도된 최적 분류기는 고확률로 타당하고 근사 최적임을 입증한다.

실험 결과

연구 질문

• RQ1 보호 특성이 뒤집힘 노이즈로 손상된 상황에서도 강력한 정당성과 정확도 보장을 유지하면서 효과적으로 정당한 분류기를 학습시킬 수 있는가?
• RQ2 특히 비이진 및 다중 특성인 경우, 제약 강화에 사용되는 보호 특성이 노이즈가 난 상황에서 정당성 제약을 어떻게 보정할 수 있는가?
• RQ3 노이즈가 있는 보호 특성 하에서 노이즈 제거 기반 최적화 프레임워크를 사용해 학습된 분류기의 정당성과 정확도에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 노이즈 수준이 높을 경우 실생활 데이터셋에서 기존 방법과 비교해 실용적으로 어떻게 성능을 발휘하는가? 특히 복잡한 정당성 지표를 가진 경우에 대해.
• RQ5 이 프레임워크는 다중 비이진 보호 특성에 걸쳐 다중 정당성 지표(예: 통계적 비율, 거짓 양성 비율, 거짓 발견률)를 동시에 지원하도록 일반화될 수 있는가?

주요 결과

• 보호 특성에 큰 노이즈가 존재하는 상황에서도 통계적 비율과 거짓 양성 비율에 대해 높은 정당성 수준을 달성하면서 최소한의 정확도 손실을 기록한다.
• 선형 분수 지표인 거짓 발견률에 대해서는, 기존의 노이즈 내성 정당한 분류 알고리즘보다 더 뛰어난 정당성 성능과 더 적은 정확도 저하를 달성한다.
• Adult 및 COMPAS 데이터셋에서의 실험 결과, 다양한 노이즈 수준과 보호 특성 유형에서 제약 없음 및 기존 정당한 분류기 대비 정당성-정확도 트레이드오프에서 일관되게 뛰어난 성능을 보였다.
• 이론적 분석을 통해 프레임워크가 출력하는 분류기는 일반화된 노이즈 모델과 다중 정당성 제약 하에서 고확률로 타당하고 근사 최적임을 확인했다.
• 프레임워크의 성공 확률은 $ 1 - O(kpe^{-rac{ u^2 au^2 n}{60000M^2} + t ext{ln}(50M/ u au))} $ 로 경계되며, 이는 노이즈 조건 하에서도 일반화를 보장한다. 여기서 $ t $ 는 VC 차원이다.
• 보호 특성이 비이진(예: COMPAS의 인종)일 경우에도 프레임워크는 효과적으로 기능하며, 다양한 정당성 지표와 노이즈 설정에서 뛰어난 성능을 유지한다.