[논문 리뷰] The Data-Production Dispositif

Milagros Miceli, Julian Posada|arXiv (Cornell University)|2022. 05. 24.

Digital Economy and Work Transformation인용 수 12

한 줄 요약

이 논문은 라틴 아메리카에서 외주된 기계학습 데이터 작업이 표준화된 지침, 감시, 불안정성 등을 통해 권력/지식 계층을 재생산하는 '데이터 생산 장치'(data-production dispositif)라는 후카르드 개념적 프레임워크를 제안한다. 연구 결과는 경제적 소외와 상향식 지침이 노동자의 복종을 강요하며 편향된 데이터 해석을 정상화하고, 인공지능 시스템 내에서 체계적 불평등을 심화시킨다.

ABSTRACT

Machine learning (ML) depends on data to train and verify models. Very often, organizations outsource processes related to data work (i.e., generating and annotating data and evaluating outputs) through business process outsourcing (BPO) companies and crowdsourcing platforms. This paper investigates outsourced ML data work in Latin America by studying three platforms in Venezuela and a BPO in Argentina. We lean on the Foucauldian notion of dispositif to define the data-production dispositif as an ensemble of discourses, actions, and objects strategically disposed to (re)produce power/knowledge relations in data and labor. Our dispositif analysis comprises the examination of 210 data work instruction documents, 55 interviews with data workers, managers, and requesters, and participant observation. Our findings show that discourses encoded in instructions reproduce and normalize the worldviews of requesters. Precarious working conditions and economic dependency alienate workers, making them obedient to instructions. Furthermore, discourses and social contexts materialize in artifacts, such as interfaces and performance metrics, limiting workers' agency and normalizing specific ways of interpreting data. We conclude by stressing the importance of counteracting the data-production dispositif by fighting alienation and precarization, and empowering data workers to become assets in the quest for high-quality data.

연구 동기 및 목표

• 외주된 기계학습 데이터 작업이 제도적 및 담론적 구조를 통해 라틴 아메리카에서 권력과 지식 계층을 어떻게 재생산하는지 탐구하기.
• 요청자들의 세계관이 작업 지침에 어떻게 내재되어 있으며, 노동 관행을 통해 어떻게 정상화되는지 분석하기.
• 데이터 레이블링 및 애너테이션 과정에서 데이터 노동자의 자율성을 제약하는 물질적 및 사회적 조건을 검토하기.
• 플랫폼과 BPO가 감시, 성과 지표, 경제적 의존도를 통해 어떻게 복종을 강제하는지 탐색하기.
• 노동자들을 강화하고 그들의 노동을 상품화에서 벗어나게 함으로써 장치를 해체하는 전략을 제안하기.

제안 방법

• 후카르드의 장치(dispositif) 개념에 뿌리를 두고, 데이터 작업 내 담론, 실천, 물질적 유물 간의 상호작용을 분석하기 위한 적용형 장치 분석을 수행하였다.
• 내재된 세계관과 분류 기준을 파악하기 위해 210건의 데이터 작업 지침 문서를 분석하였다.
• 해석 과정과 권력 관계를 이해하기 위해 데이터 노동자, 관리자, 요청자 55명과 인터뷰를 실시하였다.
• 아르헨티나의 크라우드소싱 플랫폼과 BPO에서 참관 관찰을 수행하여 인터페이스 설계, 감시 도구, 워크플로우 유물 등을 연구하였다.
• 언어적, 행동적, 물질적 차원에서 정성적 자료를 통합하여 권력/지식 관계가 어떻게 재생산되는지 추적하였다.
• 객관성보다 상호주관적 이해 가능성에 중점을 두고, 다양한 맥락에서 해석의 타당성을 확보하는 방법론 프레임워크를 사용하였다.

실험 결과

연구 질문

• RQ1 라틴 아메리카 기계학습 데이터 작업에서 외주된 데이터 노동자에게 제공된 작업 지침에 어떤 담론이 내재되어 있는가?
• RQ2 데이터 노동자, 관리자, 요청자가 지침과 어떻게 상호작용하여 데이터를 생산하는가? 이러한 상호작용에서 드러나는 권력 관계는 어떠한가?
• RQ3 인터페이스, 성과 지표, 감시 도구 등 물질적 유물은 지침 이행을 어떻게 지원하거나 제약하는가?
• RQ4 경제적 불안정성과 의존도는 노동자들이 지침에 복종하도록 유도하고 자율성을 제한하는 데 어떻게 기여하는가?
• RQ5 지침 문서와 플랫폼 설계는 어떤 방식으로 특정한 데이터 해석을 자연스럽게 만들고, 다른 시각을 배제하는가?

주요 결과

• 작업 지침은 요청자의 세계관과 암묵적 전제를 체계적으로 내재하고 있으며, 특정한 데이터 해석을 정상화하고 다른 시각을 배제한다.
• 라틴 아메리카의 경제적 불안정성과 의존도는 노동자에게 지침에 복종할 수밖에 없는 상황을 만들며, 비판적 참여보다 복종을 강화한다.
• 플랫폼 인터페이스와 성과 지표는 담론적 기준을 물질화하여 노동자의 자율성을 제한하고, 표준화된, 종종 편향된 데이터 레이블링 관행을 정상화한다.
• 플랫폼에 내장된 감시 및 통제 메커니즘은 복종을 강제하며, 데이터 작업을 시장 논리에 따라 규율받는 노동 형태로 전환시킨다.
• 지침 문서는 반복적으로 수정되는 살아있는, 이터레이티브한 유물이므로 지속적인 협상의 흔적을 보이지만, 요청자 정의 기준에 대한 의존도를 강화한다.
• 노동자들을 단순한 노동 상품이 아니라 고품질 데이터의 공동 생산자로 부여함으로써 장치를 도전하고, 데이터셋의 공정성과 투명성을 향상시킬 수 있다.