[논문 리뷰] Documenting Data Production Processes: A Participatory Approach for Data Work

Milagros Miceli, Tianling Yang외 5명|arXiv (Cornell University)|2022. 07. 11.

Ethics and Social Impacts of AI인용 수 7

한 줄 요약

이 논문은 기계학습에서 데이터 생산 과정을 기록하는 데 참여형 접근법을 제안하며, 정적 데이터셋 기록에서 벗어나 데이터 작업자들이 경험하는 실질적 현실을 반영하는 동적이고 협업 기반의 기록으로 초점을 이동시킨다. 불가리아와 아르헨티나의 두 BPO에서 2.5년간 데이터 작업자들과의 공동 설계를 통해 이루어진 이 연구는 작업자들이 팀 간 정보를 이동시키고 피드백 루프를 가능하게 하며 자신의 목소리를 유지하는 기록을 우선시한다는 점을 드러내며, 기계학습 공급망의 투명성과 공정성을 향상시키기 위한 경계 객체 모델을 제시한다.

ABSTRACT

The opacity of machine learning data is a significant threat to ethical data work and intelligible systems. Previous research has addressed this issue by proposing standardized checklists to document datasets. This paper expands that field of inquiry by proposing a shift of perspective: from documenting datasets toward documenting data production. We draw on participatory design and collaborate with data workers at two companies located in Bulgaria and Argentina, where the collection and annotation of data for machine learning are outsourced. Our investigation comprises 2.5 years of research, including 33 semi-structured interviews, five co-design workshops, the development of prototypes, and several feedback instances with participants. We identify key challenges and requirements related to the integration of documentation practices in real-world data production scenarios. Our findings comprise important design considerations and highlight the value of designing data documentation based on the needs of data workers. We argue that a view of documentation as a boundary object, i.e., an object that can be used differently across organizations and teams but holds enough immutable content to maintain integrity, can be useful when designing documentation to retrieve heterogeneous, often distributed, contexts of data production.

연구 동기 및 목표

• 정적 데이터셋에 집중하는 기록 방식에서 벗어나 동적이고 과정 중심의 실천으로 기록 초점을 이동시켜 기계학습 데이터 생산의 투명성 부족 문제를 해결하기 위해.
• 외주화된 데이터 작업을 포함한 기계학습 공급망에서 정보 비대칭을 완화할 수 있는 기록 방식이 어떻게 기능할 수 있는지 조사하기 위해.
• 글로벌 외주화된 데이터 생산 환경에서 데이터 작업자들이 가지는 구체적인 기록 필요사항을 이해하기 위해.
• 실제 데이터 작업의 협업적, 반복적, 분산된 성격을 반영하는 기록 도구를 공동 설계하기 위해.
• 기록 모델을 경계 객체로 기능하도록 개발하여, 다양한 팀과 조직 간에서 적응 가능하면서도 핵심적 정합성과 작업자 목소리를 유지할 수 있도록 하기 위해.

제안 방법

• 아르헨티나와 불가리아의 두 비즈니스 프로세스 외주화(BPO) 기업에서 데이터 작업자와 관리자 33명을 대상으로 반구조화된 인터뷰를 실시하였다.
• 데이터 작업자들과 함께 참여형 워크숍 5회를 진행하여 기록 도구의 공동 프로토타ип화 및 개선을 수행하였다.
• 참가자들의 피드백을 바탕으로 기록 프로토타입을 개발하고 반복적으로 개선하였으며, 피드백 루프와 반복적 개선을 강조하였다.
• 참여형 설계 원칙을 적용하여 관리자에 의한 접근 차단과 상향식 소통 패턴을 극복하는 데 있어 데이터 작업자의 시각을 중심에 두었다.
• 기록을 다양한 팀과 조직 간에서 적응 가능하면서도 정합성을 유지하는 공유 자산으로 개념화하기 위해 경계 객체 프레임워크를 적용하였다.
• 문화적·언어적 다양성 고려 사항을 설계 과정에 통합하여, 다문화 협업에서 발생하는 언어 및 권력 장벽을 극복하기 위해 방법을 적응시켰다.

실험 결과

연구 질문

• RQ1 기록이 데이터 생산 과정의 반복적이고 협업적인 성격을 어떻게 반영할 수 있는가?
• RQ2 기록 실천이 데이터 생산 및 기계학습 공급망에서 정보 비대칭을 완화하는 데 어떻게 기여할 수 있는가?
• RQ3 작업자들이 최선의 조건에서 자신의 업무를 수행하기 위해 필요한 정보는 무엇이며, 이를 어떻게 기록에 포함시킬 수 있는가?
• RQ4 기록이 지리적·문화적으로 분산된 이해관계자 간 협업을 지원하기 위해 경계 객체로 어떻게 작용할 수 있는가?
• RQ5 데이터 생산 기록 제작 과정에서 데이터 작업자의 목소리를 중심에 두었을 때 도출되는 설계 고려사항은 무엇인가?

주요 결과

• 데이터 작업자들은 조직적·문화적 경계를 넘어서 작업, 팀, 지급 정보를 이동시키는 기록을 우선시하였다.
• 작업자들은 요청자 및 관리자에게 우려 사항과 제안을 되돌려보내는 피드백 루프를 지원하는 기록을 기대하였다.
• 상향식의 선형 기록 방식은 부적합하다고 여겨졌으며, 작업과 함께 진화하는 원형의 반복적 기록이 선호되었다.
• 작업자들이 설계 과정을 주도하게 하자, 과거에 표현되지 않았던 요구사항, 예를 들어 과제 배정 및 지급 구조의 투명성 확보가 드러났다.
• 경계 객체 모델은 팀 간 적응 가능성과 충분한 안정성 사이의 균형을 이루며 정합성과 공통 이해를 유지하는 데 유용한 것으로 입증되었다.
• 관리자의 접근 차단이 초기 프로토타입 개발을 제한함에 따라, 진정한 요구사항을 드러내기 위한 작업자 주도의 설계 공간이 필요함을 시사하였다.