[논문 리뷰] Oxford Handbook on AI Ethics Book Chapter on Race and Gender

Timnit Gebru|arXiv (Cornell University)|2019. 08. 08.

Ethics and Social Impacts of AI참고 문헌 8인용 수 31

한 줄 요약

이 장은 티미닛 지브루가 인공지능에서의 체계적 인종 및 성별 편향을 다루며, 얼굴 인식 및 재범 예측 도구와 같은 AI 시스템이 소수자 집단에게 비례적으로 더 큰 피해를 줌을 강조한다. 실제 사례와 경험적 연구를 바탕으로, 다양성 있는 개발 팀, 규제 기준, 역사를 고려한 접근 방식을 통해 피해를 줄이기 위한 다층적 접근을 주장한다.

ABSTRACT

From massive face-recognition-based surveillance and machine-learning-based decision systems predicting crime recidivism rates, to the move towards automated health diagnostic systems, artificial intelligence (AI) is being used in scenarios that have serious consequences in people's lives. However, this rapid permeation of AI into society has not been accompanied by a thorough investigation of the sociopolitical issues that cause certain groups of people to be harmed rather than advantaged by it. For instance, recent studies have shown that commercial face recognition systems have much higher error rates for dark skinned women while having minimal errors on light skinned men. A 2016 ProPublica investigation uncovered that machine learning based tools that assess crime recidivism rates in the US are biased against African Americans. Other studies show that natural language processing tools trained on newspapers exhibit societal biases (e.g. finishing the analogy "Man is to computer programmer as woman is to X" by homemaker). At the same time, books such as Weapons of Math Destruction and Automated Inequality detail how people in lower socioeconomic classes in the US are subjected to more automated decision making tools than those who are in the upper class. Thus, these tools are most often used on people towards whom they exhibit the most bias. While many technical solutions have been proposed to alleviate bias in machine learning systems, we have to take a holistic and multifaceted approach. This includes standardization bodies determining what types of systems can be used in which scenarios, making sure that automated decision tools are created by people from diverse backgrounds, and understanding the historical and political factors that disadvantage certain groups who are subjected to these tools.

연구 동기 및 목표

• 고위험 응용 분야에서 AI 시스템이 어떻게 인종 및 성별 격차를 유지하고 악화시키는지 조사하기.
• 얼굴 인식 및 형사법 알고리즘과 같은 분야에서 AI 도구가 심각한 편향을 보인 실제 사례 분석하기.
• 소수자 공동체의 과도한 감시와 자동화를 초래하는 사회적 및 구조적 요인 분석하기.
• 기술적 해결책을 넘어서 다양성 있는 개발 및 정책 규제를 포함한 통합적 AI 윤리 접근 방식을 주장하기.
• 공정한 AI 시스템을 설계하는 데 있어 역사적 및 정치적 맥락을 이해하는 중요성 강조하기.

제안 방법

• 피부 톤과 성별에 따라 얼굴 인식 오류율을 분석한 경험적 연구 검토하기.
• COMPAS 재범 예측 도구의 인종 편향을 다룬 프로파블리카의 조사 분석하기.
• 역사적 신문 기사 데이터로 훈련된 자연어 처리 모델의 편향 분석하기.
• 경제적 계층에 따라 자동 의사결정 시스템의 격차 분석하기.
• 제도적, 사회적, 기술적 조치를 포함한 체계적 접근 방식을 통해 AI 윤리 문제 해결하기.
• 다양성 있는 팀과 표준화 기구가 윤리적인 AI 구현에 미치는 역할 강조하기.

실험 결과

연구 질문

• RQ1 상용 얼굴 인식 시스템은 성별 및 피부 톤에 따라 어떻게 다른 성능을 보이며?
• RQ2 기계 학습 도구가 재범 예측에 있어 형사법 시스템에서 얼마나 인종적으로 편향되어 있는가?
• RQ3 자연어 처리 모델은 어떻게 사회적 성별 스테레오타입을 반영하고 재생산하는가?
• RQ4 왜 저소득 계층은 고소득 계층보다 자주 자동 의사결정 시스템에 노출되는가?
• RQ5 AI 시스템이 소수자 공동체에 비례적으로 더 큰 피해를 주지 않도록 하기 위해 필요한 제도적 및 구조적 변화는 무엇인가?

주요 결과

• 상용 얼굴 인식 시스템은 밝은 피부의 남성보다 어두운 피부의 여성에서 유의미하게 높은 오류율을 보인다.
• COMPAS 재범 예측 도구는 흑인 피고인의 경우 백인 피고인보다 더 높은 가짜 양성률을 보였다.
• 신문 기사 데이터로 훈련된 자연어 처리 모델은 '남성은 컴퓨터 프로그래머와 같고 여성은 주부와 같다'와 같은 성별 스테레오타입 유형의 유추를 생성한다.
• 저소득 계층의 개인은 고소득 계층보다 더 많은 자동 의사결정 시스템에 노출된다.
• AI 시스템은 흔히 가장 높은 편향을 보이는 맥락에 배치되며, 이는 공정한 감시의 부족을 시사한다.
• AI 편향 문제에 대한 종합적 해결책은 기술적 조치를 넘어서야 하며, 다양성 있는 개발 팀, 규제 기준, 역사적 및 정치적 권력 구조에 대한 고려가 필요하다.