[논문 리뷰] Fairness Evaluation in Presence of Biased Noisy Labels

Riccardo Fogliato, Max G’Sell외 1명|arXiv (Cornell University)|2020. 03. 30.

Machine Learning and Data Classification참고 문헌 41인용 수 23

한 줄 요약

이 논문은 훈련 및 평가가 편향되고 노이즈가 많은 레이블(예: 체포 기록)에 의존하는 위험 평가 도구에서 공정성 평가를 위한 민감도 분석 프레임워크를 제안한다. 특히 인종 간 레이블 오분류의 차이가 존재할 경우, 이 프레임워크는 미묘한 레이블 편향이 공정성 결론을 뒤엎을 수 있음을 보여주며, 실험 결과는 공정성 향상 알고리즘들이 타당한 노이즈 수준에서는 여전히 강건함을 유지함을 시사한다. 이 프레임워크는 공정성 지표의 민감도를 측정하기 위해 𝛼라는 파라미터를 도입하여 그룹 간 이질적인 노이즈를 정량화한다.

ABSTRACT

Risk assessment tools are widely used around the country to inform decision making within the criminal justice system. Recently, considerable attention has been devoted to the question of whether such tools may suffer from racial bias. In this type of assessment, a fundamental issue is that the training and evaluation of the model is based on a variable (arrest) that may represent a noisy version of an unobserved outcome of more central interest (offense). We propose a sensitivity analysis framework for assessing how assumptions on the noise across groups affect the predictive bias properties of the risk assessment model as a predictor of reoffense. Our experimental results on two real world criminal justice data sets demonstrate how even small biases in the observed labels may call into question the conclusions of an analysis based on the noisy outcome.

연구 동기 및 목표

• 위험 평가 도구가 실제 관심 있는 결과(재범)가 아닌 편향된 대체 지표(예: 체포)에 기반해 훈련되고 평가되는 데 기인한 심각한 문제에 대응하고자 한다. 이는 인종 간로 시스템적으로 편향될 수 있는 경우를 포함한다.
• 같은 범죄 행동을 보일 경우에도 인종에 따라 체포 확률이 다를 수 있는 차별적 오분류가 관측된 레이블에 기반한 공정성 평가를 어떻게 무너뜨릴 수 있는지 조사하고자 한다.
• 공정성 지표(예: 캘리브레이션, 예측 동일성, 오류율 균형)의 정확도가 그룹 간 관측되지 않은 레이블 편향에 대해 얼마나 강건한지를 정량화하는 통계적 프레임워크를 개발하고자 한다.
• 훈련 레이블이 그룹별로 다른 노이즈를 가질 경우, 공정성 향상 기계학습 알고리즘이 여전히 효과적인지 평가하고자 한다.
• 관측된 체포 데이터 기반의 공정성 결론이 관측되지 않은 목표 변수 편향(TVB)으로 인해 근본적으로 잘못되었을 수 있음을 입증하고자 한다. 이는 모델이 표면적으로 공정해 보일 수 있음에도 불구하고, 실제 재범 예측에서는 공정하지 않을 수 있음을 의미한다.

제안 방법

• 그룹별로 레이블 노이즈를 모델링하기 위해 민감도 파라미터 𝛼를 도입한다. 여기서 𝛼₀와 𝛼₁은 각각 흑인 집단과 백인 집단에서 진짜 재범자임에도 불구하고 비재범자로 잘못 분류될 확률을 나타낸다.
• 인과 추론 민감도 분석에 영감을 받은 이론적 프레임워크를 사용하여, 다양한 𝛼 수준에서 공정성 지표(예: 예측 동일성, 오류율 균형)에 대한 분석적 경계를 유도한다.
• 극단적 기울기 부스팅 트리 알고리즘을 사용하여 인종별로 레이블 노이즈 비율을 추정하기 위해 가중치를 부여한 재표본 추출 절차를 적용한다.
• 가중치를 부여한 관측치를 사용한 로지스틱 회귀 모델을 통해 레이블 의존적 노이즈 하에서 캘리브레이션을 평가하고, Wald 검정을 통해 통계적 유의성을 평가한다.
• FERM, EQODDS, COMPAS6, 비제약 로지스틱 회귀 모델 등 네 가지 알고리즘을 대상으로 𝛼 수준을 변화시키며 공정성 지표를 평가하여 강건성 비교를 수행한다.
• 실제로 관측된 계수 공간의 대각선 제약 조건을 활용하여 경계를 정밀화하고, 노이즈 하에서 공정성 지표 행동의 해석 가능성을 향상시킨다.

실험 결과

연구 질문

• RQ1 그룹별로 레이블 노이즈(즉, 재범에 대한 비균형적 오분류)가 체포 데이터 기반으로 훈련된 위험 평가 모델의 공정성 특성에 어떤 영향을 미치는가?
• RQ2 관측된 레이블이 진짜 결과의 편향된 대체 지표일 경우, 캘리브레이션, 예측 동일성, 오류율 균형과 같은 공정성 지표는 어느 정도 유지될 수 있는가?
• RQ3 관측된 데이터 기반의 공정성 결론을 뒤집는 데 충분한 레이블 편향 수준(𝛼로 정량화)은 어느 정도인가?
• RQ4 공정성 향상 알고리즘(FERM, EQODDS 등)은 비제약 모델 대비 현실적인 수준의 레이블 노이즈 하에서 어떻게 성능을 발휘하는가?
• RQ5 분석적 경계가 넓을지라도, 관측된 레이블 의존적 노이즈 하에서 공정성 지표 경계가 여전히 날카롭고 예측 가능할 수 있는가를 경험적으로 검증할 수 있는가?

주요 결과

• 매우 미미한 목표 변수 편향(TVB) 수준, 예를 들어 𝛼 = 0.12라도 공정성 결론을 크게 뒤바꿀 수 있다. 이는 체포 데이터 기반으로는 공정해 보일 수 있으나, 실제 재범 예측에서는 공정하지 않을 수 있음을 의미한다.
• COMPAS 데이터셋에서, 인종(A)에 대한 계수는 레이블 의존적 노이즈 하에서도 안정성을 유지하지만, 위험 점수(S)에 대한 계수는 숨겨진 재범자에 대한 가정에 매우 민감하다. 이는 공정성 결론이 관측되지 않은 레이블 구조에 크게 의존한다는 것을 시사한다.
• 비제약 모델(예: 로지스틱 회귀 및 COMPAS6)은 𝛼 ≤ 0.2일 경우 오류율 균형을 달성할 수 없으며, 이는 노이즈 존재 시 관측된 레이블 기반의 공정성 주장이 신뢰할 수 없음을 의미한다.
• 공정성 향상 알고리즘인 FERM과 EQODDS는 𝛼 > 0.08일 경우 오류율 균형을 달성하며, 이는 비제약 모델보다 레이블 노이즈에 더 강건함을 시사한다.
• 𝛼 = 0.12일 때, 𝛼₁ = 0.04인 조건에서 FERM은 인종 간 위험도 기반의 거짓 양성 및 거짓 음성 비율에서 거의 동일한 수준을 달성한다. 이는 이러한 방법이 중간 수준의 레이블 편향 하에서도 공정성을 유지할 수 있음을 보여준다.
• 경험적으로, 공정성 지표 계수들은 분석적 경계를 연결하는 대각선 상에 일관되게 위치해 있으며, 이는 이론적 프레임워크의 타당성을 검증하고, 넓은 이론적 간격에도 불구하고 더 날카운 추론이 가능함을 뒷받침한다.