[논문 리뷰] The Method of Critical AI Studies, A Propaedeutic

Fabian Offert, Ranjodh Singh Dhaliwal|arXiv (Cornell University)|2024. 11. 28.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

논문은 비판적 AI 연구의 방법론적 문제를 분석하고 전통적 벤치마크, 블랙박스, 스택 비판을 넘어 인문학적 관점에서 파이프라인 기반의 방법론적 전환을 주장한다.

ABSTRACT

We outline some common methodological issues in the field of critical AI studies, including a tendency to overestimate the explanatory power of individual samples (the benchmark casuistry), a dependency on theoretical frameworks derived from earlier conceptualizations of computation (the black box casuistry), and a preoccupation with a cause-and-effect model of algorithmic harm (the stack casuistry). In the face of these issues, we call for, and point towards, a future set of methodologies that might take into account existing strengths in the humanistic close analysis of cultural objects.

연구 동기 및 목표

• 비판적 AI 연구(Critical AI Studies)에서 지배적 방법론적 함정(벤치마크, 블랙박스, 스택의 사례판단)을 식별하고 비판한다.
• 확률적 인공지능 시스템에 적합한 역사적-물질적이며 인문학을 반영한 방법론적 전환을 주장한다.
• 인문학의 정밀한 분석을 정량적 방법 및 기술적 벤치마크와 통합하는 것을 제안한다.
• 현대 AI 인프라와 데이터 흐름을 더 잘 포착하기 위해 스택에서 파이프라인으로의 전환을 권고한다.

제안 방법

• 벤치마크, 블랙박스, 스택의 세 가지 사례판단을 확률적 AI 시스템과의 불일치로 비판적으로 진단한다.
• 사이버네틱스, 튜링 벤치마크의 영향, 블랙박스 서술의 역사적 분석으로 방법론적 비판의 근거를 마련한다.
• 현대 AI 구조를 반영하기 위해 스택 기반 모델에서 파이프라인 지향 개념으로의 전환을 제안한다.
• 인문학 비판과 기술 학문 간의 보다 긴밀한 통합을 옹호하며, 인문학적 용어로의 성찰적 벤치마킹을 포함한다.
• 단일 샘플 판단에 반해 복합적 사회기술 시스템에 대한 밀접한 독해를 장려한다.
• 연구 프로그램으로서 방법론적 개방성과 학제 간 대화를 강조한다.

실험 결과

연구 질문

• RQ1 벤치마크, 블랙박스, 스택의 사례판단이 비판적 AI 비판에 어떤 제약을 가하는가?
• RQ2 확률적 AI 시스템을 정확히 비판하기 위해 어떤 방법론적 전환이 필요한가?
• RQ3 인문학적 밀착 독해를 비판적 AI 연구에서 정량적 및 기술적 방법과 어떻게 효과적으로 통합할 수 있는가?
• RQ4 현대 AI 인프라를 분석하는 데 스택보다 파이프라인이 왜 더 적합한 개념적 프레임워크일 수 있는가?

주요 결과

• 비판적 AI 연구는 현재 단일 샘플 판단과 단일 인터페이스 프롬프트(벤치마크 사례판단)에 과도하게 집중하고 있다.
• 블랙박스 서사와 설명가능성에 집착하는 것은 AI 시스템의 역사적 및 인프라적 현실을 흐릴 수 있다.
• 전통적 스택 기반 알고리즘 비판은 점점 더 확률적이고 진화하는 AI 파이프라인에 부적합하다.
• 파이프라인 지향의 개념적 프레임워크가 데이터 흐름, 모델 훈련 및 다단계 AI 운영과 더 잘 일치한다.
• 인문학 비판과 기술 AI 연구를 연결하기 위해서는 학제 간 개방성과 방법론적 혁신이 필요하다.