[논문 리뷰] Evaluating Fairness Metrics in the Presence of Dataset Bias

J. Henry Hinnefeld, Peter Cooman외 2명|arXiv (Cornell University)|2018. 09. 24.

Ethics and Social Impacts of AI참고 문헌 14인용 수 13

한 줄 요약

이 논문은 데이터셋 편향이 존재하는 상황에서 여섯 가지 공정성 메트릭의 성능을 평가하며, 편향 탐지 문제를 원인 인과 추론 문제로 프레임화한다. 어떤 단일 메트릭도 항상 편향을 탐지하지 못하며, 민감도는 편향 유형(표본 추출 편향 대비 레이블 편향)에 따라 달라지며, 종종 편향과 정당한 지표 불균형을 구분하지 못해 공정성에 대한 잘못된 확신을 낳는다.

ABSTRACT

Data-driven algorithms play a large role in decision making across a variety of industries. Increasingly, these algorithms are being used to make decisions that have significant ramifications for people's social and economic well-being, e.g. in sentencing, loan approval, and policing. Amid the proliferation of such systems there is a growing concern about their potential discriminatory impact. In particular, machine learning systems which are trained on biased data have the potential to learn and perpetuate those biases. A central challenge for practitioners is thus to determine whether their models display discriminatory bias. Here we present a case study in which we frame the issue of bias detection as a causal inference problem with observational data. We enumerate two main causes of bias, sampling bias and label bias, and we investigate the abilities of six different fairness metrics to detect each bias type. Based on these investigations, we propose a set of best practice guidelines to select the fairness metric that is most likely to detect bias if it is present. Additionally, we aim to identify the conditions in which certain fairness metrics may fail to detect bias and instead give practitioners a false belief that their biased model is making fair decisions.

연구 동기 및 목표

• 인위적인 표본 추출 편향과 레이블 편향이 존재하는 데이터셋으로 훈련된 머신러닝 모델에서 편향을 탐지하는 데 있어 다양한 공정성 메트릭의 성능을 조사하는 것.
• 공정성 메트릭이 편향을 탐지하지 못할 조건을 특정하여, 모델의 공정성에 대해 잘못된 확신을 갖게 하는 원인을 밝히는 것.
• 편향의 원인 인과적 기원과 지표 불균형에 기반하여 공정성 메트릭 선택에 대한 최선의 실천 가이드라인을 제공하는 것.
• 지표 긍정률의 차이가 공정성 메트릭 결과를 해석하는 데 핵심적인 역할을 한다는 점을 부각하는 것.
• 관찰 데이터를 사용하여 공정성 평가를 원인 인과 추론 문제로 프레임화하며, 도메인 인식 기반의 해석이 필수적임을 강조하는 것.

제안 방법

• 인위적인 편향을 제어할 수 있는 네 개의 합성 데이터셋을 구축: 표본 추출 편향이 있는 경우 두 개, 레이블 편향이 있는 경우 두 개, 그리고 편향이 없는 기준 데이터셋 한 개.
• 여섯 가지 공정성 메트릭을 적용: 평균의 차이, 잔차의 차이, 동등 기회, 동등한 실수 기회, 차별적 영향, 정규화된 상호정보량.
• 두 가지 조건에서 실험 수행: 지표 긍정률이 동일한 경우(실험 A)와 불균형한 경우(실험 B).
• 각 메트릭이 표본 추출 편향 대비 레이블 편향에 얼마나 민감한지 평가하기 위해 데이터셋 간 결과를 비교.
• 공정성 평가를 원인 인과 추론 문제로 간주하며, 편향 기원에 대한 불확실성 하에서 관찰 데이터를 사용해 메트릭의 신뢰성 평가.
• 특히 지표 불균형과 편향 유형과의 관계에서 관찰된 메트릭 행동을 바탕으로 최선의 실천 가이드라인을 도출.

실험 결과

연구 질문

• RQ1 다양한 공정성 메트릭은 머신러닝 모델에서 표본 추출 편향과 레이블 편향을 탐지하는 데 어떻게 성능을 발휘하는가?
• RQ2 지표 긍정률이 보호군집 간에 다를 경우, 공정성 메트릭이 편향을 탐지하지 못할 정도로 얼마나 실패하는가?
• RQ3 지표 불균형이 존재할 때 레이블 편향에 가장 민감한 공정성 메트릭은 무엇인가?
• RQ4 외부 지표가 없는 상황에서 공정성 메트릭 선택이 모델의 공정성 해석에 어떻게 영향을 주는가?
• RQ5 어떤 조건에서 공정성 메트릭이 잘못된 공정성 인식을 유도하여 잘못된 공정성 확신을 낳는가?

주요 결과

• 실험 A에서 차별적 영향이 없는 데이터셋 1을 가장 덜 편향된 것으로 올바르게 식별한 메트릭은 평균의 차이를 제외한 모든 메트릭이 성공했다.
• 잔차의 차이는 레이블 편향에 더 민감한 반면, 동등한 실수 기회 메트릭은 표본 추출 편향에 더 민감했다.
• 실험 B에서 평균의 차이를 제외한 모든 메트릭이 의도적으로 편향이 없고 지표를 반영하는 데이터셋 1에서 유의미한 편향을 탐지했다.
• 지표 긍정률이 불균형할 경우 대부분의 메트릭이 레이블 편향에 거의 민감하지 않아, 이러한 편향을 탐지하는 데 심각한 한계가 있음을 시사한다.
• 차별적 영향 메트릭은 지표 불균형 상황에서 특히 부적절한 편이며, 공정한 모델를 잘못으로 불공정하다고 잘못 경고할 수 있다.
• 정규화된 상호정보량은 불균형한 지표 상황에서 표본 추출 편향을 탐지하는 데 강력한 후보로 나타났으며, 이 맥락에서 다른 메트릭보다 뛰어난 성능을 보였다.