[논문 리뷰] Data, Power and Bias in Artificial Intelligence

Susan Leavy, Barry O’Sullivan외 1명|arXiv (Cornell University)|2020. 07. 28.

Ethics and Social Impacts of AI참고 문헌 17인용 수 25

한 줄 요약

이 논문은 데이터 수집의 정치적·이념적 성격으로 인해 인공지능의 편향이 불가피하다고 주장하며, 인공지능 개발에 비판적 인종 이론, 페미니즘, 데이터 정의를 통합할 것을 제안한다. 공정성은 맥락에 따라 달라지며, 校정, 예측 동등성, 동등한 기회 등의 상호 배타적인 공정성 정의가 존재해 트레이드오프가 피할 수 없음을, COMPAS 재범 예측 알고리즘 사례 연구를 통해 보여준다.

ABSTRACT

Artificial Intelligence has the potential to exacerbate societal bias and set back decades of advances in equal rights and civil liberty. Data used to train machine learning algorithms may capture social injustices, inequality or discriminatory attitudes that may be learned and perpetuated in society. Attempts to address this issue are rapidly emerging from different perspectives involving technical solutions, social justice and data governance measures. While each of these approaches are essential to the development of a comprehensive solution, often discourse associated with each seems disparate. This paper reviews ongoing work to ensure data justice, fairness and bias mitigation in AI systems from different domains exploring the interrelated dynamics of each and examining whether the inevitability of bias in AI training data may in fact be used for social good. We highlight the complexity associated with defining policies for dealing with bias. We also consider technical challenges in addressing issues of societal bias.

연구 동기 및 목표

• 역사적이고 사회적인 불평등이 학습 데이터에 어떻게 내재되어 있으며, 인공지능 시스템이 이를 어떻게 유지하는지 분석한다.
• 데이터와 기계학습에서의 객관성 신화를 도전하며, 데이터 정제가 본질적으로 정치적임을 주장한다.
• 범죄 사법과 같은 고위험 시스템에서 특히, 인공지능의 다수의 공정성 정의가 상호 배타적인 이유를 조사한다.
• 비판적 인종 이론, 페미니즘, 사회정의 시각을 인공지능 설계 및 데이터 정제 과정에 통합할 것을 주장한다.
• 영향을 받는 공동체가 데이터 분해 및 시스템 설계에 참여할 필요성을 강조한다. 이를 통해 윤리적인 인공지능을 확보한다.

제안 방법

• COMPAS와 같은 실제 인공지능 시스템을 분석하여, 校정, 예측 동등성, 동등한 기회 등의 기준으로 공정성을 평가한다.
• Kleinberg 등 (2017)의 공식적 공정성 정의를 적용하여, COMPAS 데이터셋에서 공정성 지표 간의 트레이드오프를 정량화한다.
• 다양한 인종 집단 간 재범률과 예측 오류의 통계 분석을 통해 과도 예측과 과소 예측를 비교한다.
• 데이터 재가중, 재표본 추출, 단어 임베딩의 편향 제거와 같은 기술적 완화 전략을 검토하여 학습 데이터의 편향을 완화한다.
• 윤리적 트레이드오프를 모델 학습에 통합하는 공정성 제약 조건을 갖춘 최적화 문제로, 편향 인지 학습을 제안한다.
• 페미니즘, 비판적 인종 이론 등의 비판 이론 프레임워크를 활용하여, 데이터 정제를 중립적인 기술적 과정이 아니라 정치적 행위로 재정의한다.

실험 결과

연구 질문

• RQ1 왜 인공지능 데이터와 학습 과정에서의 객관성은 본질적으로 달성 불가능한가?
• RQ2 예측 동등성, 동등한 기회 등 다양한 인공지능 공정성 정의가 서로 어떻게 충돌하는가?
• RQ3 데이터가 역사를 반영할 경우, 기술적 해결책만으로 사회적 편향을 충분히 완화할 수 있는가?
• RQ4 페미니즘과 비판적 인종 이론 같은 비판 이론은 윤리적 데이터 정제와 인공지능 시스템 설계를 어떻게 재정의하는가?
• RQ5 왜냐하면 소외된 공동체가 언어 기반 데이터 분해 및 공정성 평가에 의미 있게 참여할 수 있는가?

주요 결과

• COMPAS 알고리즘은 인종 집단 간에 잘 校정되어 있다 (흑인 피고인 63%, 백인 피고인 59.1%가 고위험으로 분류됨), 이는 한 공정성 기준을 충족한다.
• 비록 校정되어 있지만, 시스템은 심각한 인종 편향을 보인다: 흑인 피고인의 47%가 잘못되어 재범할 것으로 예측되었고, 백인 피고인은 24%였다.
• 흑인 피고인은 백인 피고인보다 더 높은 비율로 고위험으로 잘못 분류되었다 (805/1714 = 47% vs 349/1488 = 24%), 이는 예측 동등성 위반을 나타낸다.
• 재범한 흑인 피고인 중 잘못되어 저위험으로 분류된 비율(28%)이 재범한 백인 피고인(48%)보다 더 높았으며, 이는 동등한 기회 실패를 보여준다.
• 이 연구는 일반 조건 하에서 校정, 예측 동등성, 동등한 기회 등의 공정성 기준이 상호 배타적이며, 트레이드오프가 피할 수 없다는 것을 확인한다.
• 논문은 인공지능에서 편향을 완전히 제거하는 것은 트레이드오프 없이 증명 불가능하며, 윤리적인 인공지능은 기술적 해결책을 초월한 정치적·사회적 프레임워크가 필요하다고 결론 내린다.