[논문 리뷰] Fairness in Algorithmic Profiling: A German Case Study

Christoph Kern, Ruben L. Bach외 2명|arXiv (Cornell University)|2021. 08. 04.

Ethics and Social Impacts of AI참고 문헌 38인용 수 10

한 줄 요약

이 연구는 행정 데이터를 사용하여 독일의 구직자들 사이에서 장기 실업을 예측하기 위한 통계 모델을 평가하며, 로지스틱 회귀, 페널티 회귀, 랜덤 포레스트, 기울기 부스팅을 비교한다. 연구 결과, 분류 정책이 공정성에 크게 영향을 미치며, 비독일 국적의 구직자들이 고위험 그룹에서 비례적으로 낮은 우선순위를 받는 경향이 있음을 확인했고, 알고리즘 프로파일링 시스템에서 차별을 방지하기 위해 철저한 감사 절차가 필요하다는 점을 강조한다.

ABSTRACT

Algorithmic profiling is increasingly used in the public sector as a means to allocate limited public resources effectively and objectively. One example is the prediction-based statistical profiling of job seekers to guide the allocation of support measures by public employment services. However, empirical evaluations of potential side-effects such as unintended discrimination and fairness concerns are rare. In this study, we compare and evaluate statistical models for predicting job seekers' risk of becoming long-term unemployed with respect to prediction performance, fairness metrics, and vulnerabilities to data analysis decisions. Focusing on Germany as a use case, we evaluate profiling models under realistic conditions by utilizing administrative data on job seekers' employment histories that are routinely collected by German public employment services. Besides showing that these data can be used to predict long-term unemployment with competitive levels of accuracy, we highlight that different classification policies have very different fairness implications. We therefore call for rigorous auditing processes before such models are put to practice.

연구 동기 및 목표

• 실제 행정 데이터를 사용하여 독일의 구직자들 사이에서 장기 실업을 예측하는 데 있어 통계 모델의 예측 성능을 평가하기 위해.
• 상위 10%, 25%, 또는 중간 50%의 위험 점수를 대상으로 하는 다양한 분류 정책이 공정성 결과에 어떻게 영향을 미치는지 조사하기 위해.
• 훈련 데이터 기간 및 임계값 선택과 같은 데이터 분석 결정 사항이 통계적 평등성 같은 공정성 지표에 어떻게 영향을 미치는지 평가하기 위해.
• 기밀 속성(성별, 국적)이 훈련에서 제외되었음에도 불구하고 모델 예측에 영향을 미치는지 여부와 그 방식을 평가하기 위해.
• 의도치 않은 차별을 방지하기 위해 알고리즘 프로파일링 시스템을 배포하기 전에 체계적인 감사를 시행할 것을 주장하기 위해.

제안 방법

• 익명화된 독일 노동시장 행정 데이터를 기반으로 로지스틱 회귀, 페널티가 부여된 로지스틱 회귀, 랜덤 포레스트, 기울기 부스팅의 네 가지 기계학습 모델을 훈련시켰다.
• 데이터 가용성에 대한 민감도를 평가하기 위해 서로 다른 이전 훈련 윈도우(전체 대비 시간 제한 데이터)를 사용하여 두 가지 모델 버전을 구축했다.
• 상위 10% (매우 높은 위험), 상위 25% (높은 위험), 중간 50% (중간 위험)의 예측된 장기 실업 점수를 대상으로 하는 세 가지 분류 정책을 구현했다.
• 예측 성능은 표준 지표(예: 정확도, AUC)로 측정하였고, 공정성은 성별 및 국적과 같은 보호 그룹 간의 통계적 평등성 차이로 평가했다.
• 교육 수준을 통제하여 조건부 공정성 분석을 수행하여 기밀 속성의 영향을 분리해내었다.
• 임계값과 데이터 제약 조건을 다양하게 설정하여 모델의 거동을 평가함으로써 복잡성과 설계 선택 사항에 대한 취약성을 점검했다.

실험 결과

연구 질문

• RQ1 실제 행정 데이터를 사용하여 독일의 구직자들 사이에서 장기 실업을 예측하는 데 있어 다양한 기계학습 모델의 성능은 어떻게 되는가?
• RQ2 예를 들어 상위 10% 대비 중간 50%를 대상으로 하는 정책을 적용할 경우, 공공 일자리 서비스에서 위험 기반 우선순위 지정의 공정성에 어떤 영향을 미치는가?
• RQ3 성별과 국적에 따라 모델 예측이 체계적으로 다를 정도로, 이러한 속성이 훈련에서 제외되었음에도 불구하고 얼마나 영향을 미치는가?
• RQ4 훈련 데이터 기간 및 임계값 선택과 같은 데이터 분석 결정 사항이 알고리즘 프로파일링에서 공정성 결과에 어떻게 영향을 미치는가?
• RQ5 관찰된 격차는 특히 긍정적 행동 및 차별 금지 목표를 고려할 때 정책 설계에 어떤 함의를 갖는가?

주요 결과

• 모델들은 경쟁 가능한 예측 정확도를 달성하였으며, 다른 국가의 유사 시스템과 비교해도 유사한 성능를 보였고, 이는 독일 공공 일자리 서비스에서 실질적인 도입 잠재력을 지닌다는 것을 시사한다.
• 모든 모델이 기밀 속성이 훈련에서 제외되었음에도 불구하고 남성과 여성 구직자 사이, 독일 국적자와 비독일 국적자 사이의 장기 실업 분류 비율 격차를 악화시켰다.
• 통계적 평등성 차이가 성별보다 국적에 더 두드러졌으며, 비독일 국적의 구직자들이 상위 10% 및 상위 25% 정책에서 고위험으로 분류될 가능성이 낮았다.
• 중간 위험 사례를 대상으로 하는 분류 정책은 추세를 뒤집었으며, 비독일 국적의 구직자들이 고위험으로 분류될 가능성이 높아졌는데, 이는 정책 의존적인 공정성 결과임을 시사한다.
• 교육 수준을 통제함으로써 공정성 격차는 감소했지만 완전히 제거되지는 않았으며, 국적과 관련된 관측되지 않은 변수나 대체 변수가 여전히 예측에 영향을 미쳤음을 시사한다.
• 시간 제한된 훈련 데이터는 공정성 격차를 유의미하게 줄이지 못했으며, 이는 구조적 노동시장 불평등이 조건이 제한된 역사적 데이터가 있더라도 모델이 잘 포착한다는 것을 의미한다.