[논문 리뷰] Wisdom for the Crowd: Discoursive Power in Annotation Instructions for Computer Vision

Milagros Miceli, Julian Posada|arXiv (Cornell University)|2021. 05. 23.

Ethics and Social Impacts of AI참고 문헌 10인용 수 5

한 줄 요약

이 논문은 컴퓨터 시각 데이터셋의 애너테이션 지침이 상품화된 노동을 통해 지배적인 세계관과 권력 구조를 어떻게 내재시키는지 조사한다. 그 결과, 글로벌 노스의 요청자들에서 비롯된 상향식의 이윤 중심 지침이 글로벌 서드의 애너테이터들에게 강제로 적용되며, 미국 중심의 인종 분류나 북미 기반의 도로 표지판과 같은 엄격한 분류 체계를 도입함으로써 인공지능 시스템 내에서 사회적 불평등을 재생산하고 있음을 드러낸다. 연구는 이러한 지침이 감시와 알고리즘적 통제에 의해 강화되면서 노동자들의 자율성이나 윤리적 이단행위의 여지가 거의 없음을 보여주며, 헤게모니적 규범이 훈련 데이터에 고착됨을 입증한다.

ABSTRACT

Developers of computer vision algorithms outsource some of the labor involved in annotating training data through business process outsourcing companies and crowdsourcing platforms. Many data annotators are situated in the Global South and are considered independent contractors. This paper focuses on the experiences of Argentinian and Venezuelan annotation workers. Through qualitative methods, we explore the discourses encoded in the task instructions that these workers follow to annotate computer vision datasets. Our preliminary findings indicate that annotation instructions reflect worldviews imposed on workers and, through their labor, on datasets. Moreover, we observe that for-profit goals drive task instructions and that managers and algorithms make sure annotations are done according to requesters' commands. This configuration presents a form of commodified labor that perpetuates power asymmetries while reinforcing social inequalities and is compelled to reproduce them into datasets and, subsequently, in computer vision systems.

연구 동기 및 목표

• 컴퓨터 시각 개발자들의 세계관과 이윤 중심의 이해관계가 애너테이션 지침에 어떻게 내재되어 있는지 조사하기.
• 특히 글로벌 서드의 노동자들에게 영향을 미치는 외주화된 데이터 레이블링 과정에 내재된 권력의 비대칭성 조사하기.
• 관리자 및 알고리즘적 감시가 요청자 정의 레이블과 분류 체계에 대한 준수를 어떻게 강제하는지 분석하기.
• 노동자 자율성과 현지적 맥락 지식을 무시하는 상향식 레이블링 시스템의 윤리적 및 정치적 함의 탐색하기.
• 다양한 해석을 삭제하는 정의된 계층적 지침이 어떻게 '다수의 지혜' 신화를 도용하는지 폭 드러내며 그 신화에 도전하기.

제안 방법

• 아르헨티나와 베네수엘라의 세 플랫폼과 하나의 BPO에서 확보한 210개의 애너테이션 지침 문서에 대한 비판적 논의 분석 수행.
• 지침 생성 및 이행의 텍스트, 담론 실천, 사회적 맥락을 분석하기 위해 삼차원 프레임워크 적용.
• 27명의 데이터 애너테이터 및 컴퓨터 시각 전문가와의 심층 인터뷰를 통해 경험과 권력 관계 드러내기.
• 특히 인종, 물체, 장면 분류 체계와 같은 사전 정의된 분류 체계를 지역적·문화적 관련성과 대조하여 맵핑하기.
• 경고 조치(정지 또는 급여 상실)를 통한 제재 메커니즘을 식별하여 강압적 노동 구조 평가하기.
• 노동자 피드백이 직접적인 레이블링 기준 영향력 행사 없이 관리 계층을 통해 필터링되는 방식 추적하기.

실험 결과

연구 질문

• RQ1 컴퓨터 시각 데이터셋의 지정 진실 레이블이 애너테이터들에게 어떻게 지시되는가?
• RQ2 애너테이션 지침에 암묵적으로 내재된 담론은 무엇인가?

주요 결과

• 애너테이션 지침은 라틴 아메리카 맥락에서 관련성 없거나 적용 불가능한 미국 중심의 세계관을 반영한다. 예를 들어, 인종 분류 체계가 그렇다.
• 자율주행 자동차 데이터셋의 지침은 북미 기반의 도로 표지판과 동물을 우선시하여, 라틴 아메리카 맥락에서는 타당성 없거나 사용 불가능한 결과를 낳는다.
• 아르헨티나 BPO의 노동자들은 고객의 이해관계를 우선시하고 윤리적 고려를 피하도록 지시받으며, 피드백은 계층적 관리 체계를 통해 필터링된다.
• 정지 또는 급여 상실 경고로 인해 노동자들이 지침을 엄격히 따를 것을 강요당함으로써 강압적 노동 구조가 강화된다.
• 지침 문서는 상업적으로 유망하거나 계산적으로 쉽게 구현 가능한 레이블을 선호하는 이윤 중심 목표를 내재하고 있다.
• 노동자 자율성이나 재해석의 여지가 극히 적으며, 지침에서 벗어나려는 어떤 시도도 플랫폼에서 배제되거나 급여 손실로 이어질 위험이 있다.