[논문 리뷰] There is an elephant in the room: Towards a critique on the use of fairness in biometrics

Ana María Cuadros Valdivia, Júlia Corbera-Serrajòrdia외 1명|arXiv (Cornell University)|2021. 12. 16.

COVID-19 Digital Contact Tracing인용 수 4

한 줄 요약

이 논문은 이민 통제를 위한 생체인식 시스템에서 알고리즘적 형평성에 대한 관심이 증가하는 데 대해 비판을 제기하며, 형평성 지표가 수학적으로 상충되며 이로 인해 생체인식 시스템에 내재된 정치적·역사적 불평등을 해결할 수 없다고 주장한다. 이는 이론적으로도 실험적으로도 형평성 있는 생체인식 시스템이 불가능하다는 것을 보여주며, 형평성 논의가 국경 기술의 체계적 인종차별과 식민지 유산을 가리키는 데서 벗어나 있다는 점을 드러낸다.

ABSTRACT

In 2019, the UK's Immigration and Asylum Chamber of the Upper Tribunal dismissed an asylum appeal basing the decision on the output of a biometric system, alongside other discrepancies. The fingerprints of the asylum seeker were found in a biometric database which contradicted the appellant's account. The Tribunal found this evidence unequivocal and denied the asylum claim. Nowadays, the proliferation of biometric systems is shaping public debates around its political, social and ethical implications. Yet whilst concerns towards the racialised use of this technology for migration control have been on the rise, investment in the biometrics industry and innovation is increasing considerably. Moreover, fairness has also been recently adopted by biometrics to mitigate bias and discrimination on biometrics. However, algorithmic fairness cannot distribute justice in scenarios which are broken or intended purpose is to discriminate, such as biometrics deployed at the border. In this paper, we offer a critical reading of recent debates about biometric fairness and show its limitations drawing on research in fairness in machine learning and critical border studies. Building on previous fairness demonstrations, we prove that biometric fairness criteria are mathematically mutually exclusive. Then, the paper moves on illustrating empirically that a fair biometric system is not possible by reproducing experiments from previous works. Finally, we discuss the politics of fairness in biometrics by situating the debate at the border. We claim that bias and error rates have different impact on citizens and asylum seekers. Fairness has overshadowed the elephant in the room of biometrics, focusing on the demographic biases and ethical discourses of algorithms rather than examine how these systems reproduce historical and political injustices.

연구 동기 및 목표

• 이민 통제를 위한 생체인식 시스템의 윤리적 문제를 해결할 수 있다는 형평성의 가정을 도전한다.
• 기계학습에서의 형평성 정의가 수학적으로 상호 배타적이므로, 편향 없는 생체인식 시스템이 이론적으로 불가능하다는 것을 입증한다.
• 다양한 성별, 연령, 인종 집단 간에 형평성 기준을 실험적으로 입증함으로써, 편향 완화 주장에도 불구하고 생체인식 시스템이 여전히 불공정하다는 것을 보여준다.
• 기존의 오래된, 모욕적인 분류 방식을 통해 생체인식 데이터셋이 인종화되고 성별화된 계층을 재생산한다는 것을 폭 드러낸다.
• 형평성에 초점을 맞추는 것이 국경 통제를 위한 생체인식 시스템이 설계된 바탕이 되는 정치적 현실, 즉 국경 통제와 차별을 가능하게 한다는 점을 가리지 못하게 한다.

제안 방법

• 기계학습에서의 형평성 정의를 생체인식 맥락으로 옮겨 이론적으로 수학적 상충성을 입증하기 위한 분석.
• 이전 생체인식 형평성 연구에서의 실험을 재현하여 다양한 인구집단 간 형평성 기준을 실험적으로 검증.
• 연령, 성별, 인종 집단 간에 다수의 기준—인구 비율 균형, 동일 기회, 균형된 오dds—을 사용해 형평성 평가.
• 생체인식 인증 시스템에서 의사결정 임계치의 영향과 그가 형평성 결과에 끼치는 영향 분석.
• 기존 생체인식 학습 데이터셋의 인종 및 성별 분류 방식을 비판적으로 분석하여 고대적이고 배제적인 개념이 어떻게 작용하는지 폭 드러냄.
• 비판적 국경 연구와 탈식민 이론을 통합하여 생체인식 시스템을 역사적·정치적 배제 수단으로 프레임링.

실험 결과

연구 질문

• RQ1 다양한 형평성 정의가 수학적으로 상충되므로, 생체인식 시스템이 실제로 형평성을 달성할 수 있는가?
• RQ2 잘못된 평가 방법이 존재하는 바탕으로, 기존 생체인식 형평성 연구가 인구집단 편향을 얼마나 정확히 평가하는가?
• RQ3 생체인식 데이터셋이 어떤 분류 방식을 통해 인종 및 성별 계층을 재생산하는가?
• RQ4 이민 통제 맥락에서 생체인식 시스템을 '형평성'이 있다고 프레임링할 경우 정치적 결과는 무엇인가?
• RQ5 왜 형평성에 대한 초점은 국경에서 생체인식 시스템에 내재된 깊은 구조적 불평등을 가리키는 데서 벗어나는가?

주요 결과

• 기계학습에서의 다수의 형평성 정의—예를 들어, 인구 비율 균형, 동일 기회, 균형된 오dds—는 수학적으로 상호 배타적이므로, 어떤 생체인식 시스템도 동시에 모든 조건을 만족시킬 수 없다.
• 이전 생체인식 형평성 연구의 실험을 재현한 결과, 최적의 의사결정 임계치에서도 성별, 연령, 인종 집단 간에 거짓 수락률과 거짓 기각률의 심각한 격차가 존재함을 확인.
• 생체인식 학습 데이터셋은 비서구권 인구를 체계적으로 저조하게 반영하며, 고대적이고 모욕적인 인종 및 성별 분류 방식에 의존하여 식민지적·남성우월적 계층을 강화함.
• 생체인식 시스템의 의사결정 임계치는 형평성 결과에 결정적인 영향을 미치지만, 대부분의 연구는 평가 프레임워크에서 이를 고려하지 못함.
• 일부 생체인식 시스템(예: 손가락 정맥 인식)에서 '편향 없는 성능'을 주장하더라도, 교차성과 임계치 민감도를 忽시하는 잘못된 통계 평가 방법으로 인해 이러한 주장은 빛을 잃음.
• 유럽연합의 제안된 AI 규제는 이민 통제를 위한 대규모 생체인식 데이터베이스를 다루지 않아, 내재된 정치적·인종화된 기능을 가진 시스템이 여전히 규제 대상에서 제외됨.