[논문 리뷰] Confidence Intervals for Testing Disparate Impact in Fair Learning

Philippe Besse, Eustasio del Barrio외 2명|arXiv (Cornell University)|2018. 07. 17.

Advanced Causal Inference Techniques참고 문헌 10인용 수 6

한 줄 요약

이 논문은 델타 방법을 사용하여 주요 공정성 지표인 이질적 영향(Disparate Impact, DI)과 조건부 정확도(Conditional Accuracy, CA1)의 점점점 분포를 유도함으로써, 기계학습에서 그룹 기반 차별성에 대한 통계적 검정을 위한 타당한 신뢰구간을 가능하게 한다. 저자들은 단일 점 공정성 점수를 대체하여 신뢰구간을 사용하여 공정성에 대한 잘못된 양성 평가를 줄이자고 주장한다.

ABSTRACT

We provide the asymptotic distribution of the major indexes used in the statistical literature to quantify disparate treatment in machine learning. We aim at promoting the use of confidence intervals when testing the so-called group disparate impact. We illustrate on some examples the importance of using confidence intervals and not a single value.

연구 동기 및 목표

• 단일 점 공정성 점수를 통신구간으로 대체하여 공정성 평가의 통계적 엄밀성을 높이기 위해.
• 델타 방법 프레임워크 하에서 이질적 영향(DI)과 조건부 정확도(CA1)와 같은 주요 공정성 지표의 점점점 분포를 제공하기 위해.
• 불확실성 정량화를 공정성 테스트에 통합하여 잘못된 양성 차별성 주장의 위험을 줄이기 위해.
• 단순 히وري스틱 또는 리샘플링 기반 접근 방식을 넘어서, 통신구간을 공정성 평가의 표준 관행으로 촉진하기 위해.
• 보호된 특성과 함께 이진 분류에서 공정성 지표에 대한 통계적 추론을 이론적으로 탄탄하고 점점점적으로 타당하게 하는 방법을 수립하기 위해.

제안 방법

• 표본 비율의 결합 분포를 변환하여 공정성 지표의 점점점 분포를 도출하기 위해 델타 방법을 적용한다.
• 예측, 결과 및 보호된 특성의 지표 변수들의 결합 분포를 평균과 공분산가를 알 수 있는 4차원 벡터로 모델링한다.
• DI = (P(Y=1|S=0) / P(Y=1|S=1)) 와 같이 확률의 비율로 정의되는 공정성 지표를 경험 비율의 함수 φ로 표현한다.
• 중앙극한정리에 의해 4차원 지표 벡터의 표본 평균의 점점점 정규성을 확립한다.
• 델타 방법을 적용하여 변환된 지표(예: DI 또는 CA1)의 점점점 분포를 기댓값과 분산이 도함수와 공분산행렬로부터 유도된 정규분포로 도출한다.
• 변환 함수 φ의 도함수와 경험 공분산행렬을 사용하여 공정성 지표의 점점점 분산을 도출한다.

실험 결과

연구 질문

• RQ1 어떻게 적절한 불확실성 정량화를 통해 기계학습 모델에서 이질적 영향을 통계적으로 검증할 수 있는가?
• RQ2 기본 표본 추출 가정 하에서 이질적 영향(DI) 지표의 점점점 분포는 무엇인가?
• RQ3 리샘플링이나 가우시안 근사에 의존하지 않고도 공정성 지표의 통신구간을 도출할 수 있는가?
• RQ4 조건부 정확도(CA1)의 점점점 분포는 이질적 영향과 어떻게 비교되는가?
• RQ5 점추정치 대신 통신구간을 사용할 경우, 잘못된 차별성 주장 탐지에 어떤 영향을 미치는가?

주요 결과

• 델타 방법을 사용하여 이질적 영향(DI) 지표의 점점점 분포를 도출함으로써 통계적 검정을 위한 타당한 통신구간을 가능하게 하였다.
• 조건부 정확도(CA1) 지표의 점점점 분포 역시 도출되어 공정성 평가에서의 불확실성 정량화를 가능하게 하였다.
• 4차원 지표 벡터의 공분산행렬을 명시적으로 계산하여 예측, 결과 및 보호된 특성 지표 간의 종속성을 고려하였다.
• 변환 함수의 도함수와 경험 공분산행렬을 사용하여 공정성 지표의 점점점 분산을 도출하였으며, 닫힌 형태의 표현식을 제공하였다.
• 리샘플링이나 가우시안 가정을 피하여 기존 접근 방식에 대한 이론적으로 탄탄한 대안을 제공하였다.
• 결과적으로 단순한 점추정치에 의존할 경우 잘못된 차별성 주장에 이를 수 있으며, 통신구간이 이를 완화하는 데 기여함을 입증하였다.