[논문 리뷰] Automating Ambiguity: Challenges and Pitfalls of Artificial Intelligence

Abeba Birhane|arXiv (Cornell University)|2022. 06. 08.

Complex Systems and Decision Making인용 수 16

한 줄 요약

이 박사학위 논문은 인공지능의 윤리적, 철학적, 제도적 과제를 비판적으로 분석하며, AI가 모호성을 자동화하려는 尝시가 감정의 단순화와 결정론적 모델을 초래하여 권력 불균형과 소외를 심화시킨다고 주장한다. ImageNet과 기업 중심의 AI 개발 사례 연구를 통해 데이터셋과 알고리즘이 편견을 내재하고 스테레오타입을 정상화하며 제도적 불평등을 강화함을 드러내며, AI 설계에 있어 관계적 윤리와 극한의 투명성의 필요성을 주장한다.

ABSTRACT

Machine learning (ML) and artificial intelligence (AI) tools increasingly permeate every possible social, political, and economic sphere; sorting, taxonomizing and predicting complex human behaviour and social phenomena. However, from fallacious and naive groundings regarding complex adaptive systems to datasets underlying models, these systems are beset by problems, challenges, and limitations. They remain opaque and unreliable, and fail to consider societal and structural oppressive systems, disproportionately negatively impacting those at the margins of society while benefiting the most powerful. The various challenges, problems and pitfalls of these systems are a hot topic of research in various areas, such as critical data/algorithm studies, science and technology studies (STS), embodied and enactive cognitive science, complexity science, Afro-feminism, and the broadly construed emerging field of Fairness, Accountability, and Transparency (FAccT). Yet, these fields of enquiry often proceed in silos. This thesis weaves together seemingly disparate fields of enquiry to examine core scientific and ethical challenges, pitfalls, and problems of AI. In this thesis I, a) review the historical and cultural ecology from which AI research emerges, b) examine the shaky scientific grounds of machine prediction of complex behaviour illustrating how predicting complex behaviour with precision is impossible in principle, c) audit large scale datasets behind current AI demonstrating how they embed societal historical and structural injustices, d) study the seemingly neutral values of ML research and put forward 67 prominent values underlying ML research, e) examine some of the insidious and worrying applications of computer vision research, and f) put forward a framework for approaching challenges, failures and problems surrounding ML systems as well as alternative ways forward.

연구 동기 및 목표

• 대규모 데이터셋을 통해 AI 시스템이 인간의 모호성을 잘못 대체함으로써 사회적 계급질서를 실체화하고 제도적 불평등을 재생산하는 방식을 조사한다.
• 주류 AI 연구의 인지론적 및 윤리적 실패, 특히 유해한 스테레오타입의 정상화와 소외된 목소리의 묵살을 폭 드러낸다.
• AI가 복잡한 인간 행동을 객관적으로 모델링할 수 있다는 가정을 도전하며, 예측이 본질적으로 정치적이고 도덕적임을 주장한다.
• 예측 중심의 결정론적 AI에서 인간 관계, 맥락, 권력 관계를 중심에 두는 관계적 윤리로의 전환을 제안한다.
• 식민지적이고 추출적인 관행의 AI 내 재현을 방지하기 위해 데이터 쿠리네이션, 감시, 자금 지원 모델의 제도적 개혁을 주장한다.

제안 방법

• 기계학습 논문의 정당화, 가치관, 자금 출처에 중점을 두어 AI 연구 문헌에 대한 비판적 담론 분석을 수행한다.
• ImageNet에 대한 세밀한 감사 작업을 수행하여 레이블 일관성, 소외된 집단(예: 유아, 여성)의 표현, 미소포지티즘 또는 스테레오타입적 이미지의 존재를 분석한다.
• 특히 관계적 윤리와 입장 지식론을 중심으로 한 후카르티안 및 후구조주의 철학적 프레임워크를 적용하여 주류 AI 패러다임을 비판한다.
• 데이터셋 쿠리네이션을 위한 '제거, 대체, 개방' 전략을 제안하며, 얼굴 데이터에 대한 차등 보장 및 합성 데이터 생성을 통해 피해를 줄이려 한다.
• 윤리적 위험, 데이터 기원, 잠재적 피해를 문서화하는 투명성 장치로 '데이터셋 감사 카드'를 도입한다.
• 1,000편 이상의 기계학습 논문에 대한 정성적·정량적 분석을 통해 기업 소속, 공표된 가치(예: 성능, 일반화), 윤리적 정당화를 맵핑한다.

실험 결과

연구 질문

• RQ1 AI 설계에서의 단순화된 카르테시안 가정이 인간의 모호성과 복잡성을 어떻게 묵살하는가?
• RQ2 ImageNet과 같은 대규모 데이터셋이 여성과 소수민족에게 특히 해로운 스테레오타입을 어떻게 내재하고 정상화하는가?
• RQ3 기업 자금 지원을 받는 AI 연구 프로젝트가 윤리적 책임과 사회정의보다 성능과 효율성에 얼마나 강하게 기울어져 있는가?
• RQ4 기계학습에서 관계적 윤리를 어떻게 구현할 수 있는가? 권력, 맥락, 인간 관계를 중심에 두기 위해선 어떻게 해야 하는가?
• RQ5 AI가 인지론적 및 제도적 폭력의 수단이 되는 것을 방지하기 위해 어떤 제도적 개혁이 필요한가?

주요 결과

• ImageNet에는 10,000장 이상의 유아 사진이 포함되어 있으며, 많은 경우 잘못 레이블링되거나 스테레오타입적 역할과 연결되어 있어 윤리적 쿠리네이션의 실패를 드러낸다.
• AI 연구 논문의 상당수(70% 이상)가 기업 기관에서 자금을 지원받으며, 이는 윤리적 고려보다 성능과 효율성에 대한 강조와 상관관계가 있다.
• AI 데이터셋에 Creative Commons 라이선스 이미지를 사용하는 것은 창작자의 원래 의도를 위반하고 비동의적 데이터 수확을 가능하게 하며, 이는 'Creative Commons 오류'의 사례로 볼 수 있다.
• ImageNet과 같은 데이터셋으로 훈련된 얼굴 인식 시스템은 여성과 소수민족에서 높은 오류율을 보이며, 일부 연구에서는 어두운 피부의 여성에서 밝은 피부의 남성보다 최대 34% 높은 오류율을 기록한다.
• AI 모델에서의 '블러드 다이아몬드 효과'는 동의 없이 소외된 공동체로부터 데이터를 추출하는 것을 의미하며, 식민지 자원 추출과 유사하다.
• 이 논문은 AI에서 '예측'이 중립적이지 않으며, 기존 사회적 계급질서를 강화하는 자기실현적 예언임을 입증한다. 특히 경찰과 채용 시스템에서 그러한 경향이 두드러진다.