[논문 리뷰] Understanding bias in facial recognition technologies

David Leslie|arXiv (Cornell University)|2020. 09. 26.

Ethics and Social Impacts of AISocial Sciences인용 수 21

한 줄 요약

이 논문은 역사를 거슬러 올라가는 차별 패턴이 얼굴 인식 기술(FDRTs)에 편견을 고착시켜 분포적 및 인식적 불의를 초래한 방식을 다룬다. 이 논문은 FDRTs의 편견의 사회기술적 근본 원인을 분석하고, 광범위한 감시의 윤리적 함의를 평가하며, 이러한 시스템의 더 책임감 있는 개발 및 구현을 위한 거버넌스 프레임워크를 제안한다.

ABSTRACT

Over the past couple of years, the growing debate around automated facial recognition has reached a boiling point. As developers have continued to swiftly expand the scope of these kinds of technologies into an almost unbounded range of applications, an increasingly strident chorus of critical voices has sounded concerns about the injurious effects of the proliferation of such systems. Opponents argue that the irresponsible design and use of facial detection and recognition technologies (FDRTs) threatens to violate civil liberties, infringe on basic human rights and further entrench structural racism and systemic marginalisation. They also caution that the gradual creep of face surveillance infrastructures into every domain of lived experience may eventually eradicate the modern democratic forms of life that have long provided cherished means to individual flourishing, social solidarity and human self-creation. Defenders, by contrast, emphasise the gains in public safety, security and efficiency that digitally streamlined capacities for facial identification, identity verification and trait characterisation may bring. In this explainer, I focus on one central aspect of this debate: the role that dynamics of bias and discrimination play in the development and deployment of FDRTs. I examine how historical patterns of discrimination have made inroads into the design and implementation of FDRTs from their very earliest moments. And, I explain the ways in which the use of biased FDRTs can lead distributional and recognitional injustices. The explainer concludes with an exploration of broader ethical questions around the potential proliferation of pervasive face-based surveillance infrastructures and makes some recommendations for cultivating more responsible approaches to the development and governance of these technologies.

연구 동기 및 목표

• 체계적 인종 차별과 역사적 차별이 얼굴 인식 기술의 설계 및 구현에 어떤 영향을 미쳤는지 조사하기 위해.
• 분포적 및 인식적 불의 측면에서 편향된 FDRTs의 결과를 분석하기 위해.
• 민주 사회에서 얼굴 감시 인프라의 확대가 초래하는 윤리적 함의를 검토하기 위해.
• 책임감 있는 얼굴 인식 기술 개발 및 거버넌스를 위한 실천 가능한 권고 사항을 제안하기 위해.

제안 방법

• 역사적 및 구조적 불평등으로 이어지는 편향의 근원을 추적하는 비판적 사회기술 분석을 수행한다.
• 데이터 수집에서 모델 배포에 이르는 FDRTs의 기술적 파이프라인을 분석하여 편향이 유입되는 지점을 규명한다.
• 편향된 시스템이 소외된 공동체와 시민의 자유에 미치는 영향을 평가하기 위해 윤리적 프레임워크를 활용한다.
• 실제 사례 연구를 통해 얼굴 인식 기술의 오용 사례를 평가하여 체계적 위험을 설명한다.
• 투명성, 책임성, 감시 메커니즘을 포함한 윤리적 개발 원칙을 제안한다.
• 컴퓨터 과학, 사회학, 윤리학의 통찰을 융합하여 FDRTs의 인간 중심 설계를 주장한다.

실험 결과

연구 질문

• RQ1 역사적 차별 패턴이 얼굴 인식 기술의 개발에 어떤 영향을 미쳤는가?
• RQ2 편향된 FDRTs가 분포적 및 인식적 불의를 어떻게 초래하는가?
• RQ3 광범위한 기반 기반 감시 인프라의 확대가 초래하는 사회적 위험은 무엇인가?
• RQ4 FDRT 구현에서 피해를 완화하기 위해 윤리적 거버넌스 프레임워크를 어떻게 설계할 수 있는가?
• RQ5 데이터 수집 방식과 알고리즘 설계가 편향을 어떻게 유지하는가?

주요 결과

• 얼굴 인식 기술의 편향은 부수적인 것이 아니라 역사적 및 구조적 불평등에 뿌리를 두고 있으며, 특히 데이터 수집 및 레이블링 과정에서 나타난다.
• FDRTs는 여성과 소수민족을 특히 잘못 식별하여 잘못된 체포 및 과도한 감시와 같은 실질적 피해를 초래한다.
• 얼굴 감시의 확대는 통제되지 않은 감시를 가능하게 하여 민주적 원칙을 약화시키고 사생활과 자율성을 해칠 위험이 있다.
• 인식적 불의는 개인이 알고리즘적 편향으로 인해 잘못 분류되거나 인정을 받지 못할 때 발생하며, 이는 서비스 접근성과 권리 행사에 영향을 준다.
• 현재 시스템은 투명성과 책임성이 떨어져 있어 편향된 결과를 도전하거나 수정하기 어렵다.
• 윤리적 거버넌스에는 다학제적 협력, 포괄적 설계, 이행 가능한 감시 기구가 필요하며, 피해를 방지하고 공정성을 확보하기 위해 필수적이다.