[논문 리뷰] AI Ethics Issues in Real World: Evidence from AI Incident Database

Mengyi Wei, Zhixuan Zhou|arXiv (Cornell University)|2022. 06. 15.

Ethics and Social Impacts of AI인용 수 28

한 줄 요약

이 논문은 AI Incident Database를 활용하여 현실 세계 사건에서의 AI 윤리 이슈에 대한 최초의 분류를 제시하고, 13개 응용 분야와 8개 윤리 이슈 범주를 식별하며 2010–2021년의 150건의 사건을 분석합니다.

ABSTRACT

With the powerful performance of Artificial Intelligence (AI) also comes prevalent ethical issues. Though governments and corporations have curated multiple AI ethics guidelines to curb unethical behavior of AI, the effect has been limited, probably due to the vagueness of the guidelines. In this paper, we take a closer look at how AI ethics issues take place in real world, in order to have a more in-depth and nuanced understanding of different ethical issues as well as their social impact. With a content analysis of AI Incident Database, which is an effort to prevent repeated real world AI failures by cataloging incidents, we identified 13 application areas which often see unethical use of AI, with intelligent service robots, language/vision models and autonomous driving taking the lead. Ethical issues appear in 8 different forms, from inappropriate use and racial discrimination, to physical safety and unfair algorithm. With this taxonomy of AI ethics issues, we aim to provide AI practitioners with a practical guideline when trying to deploy AI applications ethically.

연구 동기 및 목표

• 실무 차원의 AI 윤리 인사이트가 고수준 가이드라인을 넘어서 필요하다는 점을 동기 부여한다.
• 현실 세계의 사건에서 관찰된 AI 윤리 이슈의 분류를 구성한다.
• 윤리 이슈가 가장 두드러지게 나타나는 응용 분야를 식별한다.
• 경험적 증거를 바탕으로 실무자가 AI를 보다 윤리적으로 배치하기 위한 지침을 제공한다.

제안 방법

• AI Incident Database에서 150건의 AI 윤리 사건을 수집한다.
• 전통적 콘텐츠 분석을 수행하여 범주와 응용 분야를 도출한다.
• 크리폰도프의 알파 신뢰도 검사를 통해 두 연구자가 독립적으로 데이터를 부호화한다.
• 응용 분야(13)와 윤리 이슈(8)의 분류체계를 제시한다.
• 사건 발견을 기존의 AI 윤리 가이드라인에 연계하고 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 다양한 응용 분야에서 현실 세계의 어떤 AI 윤리 이슈가 발생하는가?
• RQ2 AI 윤리 이슈가 시간상·지리적으로 어떻게 분포하는가?
• RQ3 관찰된 윤리 이슈가 기존의 AI 윤리 가이드라인에 어떻게 매핑되는가?
• RQ4 AI 시스템의 설계 및 배치를 위한 실질적 지침은 무엇인가?

주요 결과

• 이슈는 2010년–2021년 범위에 걸쳐 있으며, 2016년에 피크를 보이고 2020년에 또 다른 피크가 있다.
• 대부분의 이슈는 미국, 중국, 영국에서 발생하며(합계 150건 중 89건에 해당), 주요 비중을 차지한다.
• 13개의 응용 분야가 식별되었고, 지능형 서비스 로봇, 언어/시각 모델, 자율주행이 선도한다.
• 8개의 윤리 이슈 범주가 확인되었으며, 부적절한 사용(나쁜 성능), 인종 차별, 물리적 안전, 불공정한 알고리즘이 두드러진 이슈이다.
• 각 응용 분야에서 물리적 안전이 자율주행에서 지배적이고 언어/시각 모델에서 인종 차별이 두드러지는 등 특정 패턴이 나타난다.
• 관찰된 현실 세계의 이슈와 AI 윤리 가이드라인의 지배 원칙(투명성, 정의/공정성, 무해성) 사이에 정합성이 있지만, 가이드라인은 여전히 추상적이다.