[논문 리뷰] How do Data Science Workers Collaborate? Roles, Workflows, and Tools

Amy X. Zhang, Michael Müller외 1명|arXiv (Cornell University)|2020. 01. 18.

Big Data and Business Intelligence참고 문헌 76인용 수 16

한 줄 요약

이 연구는 IBM 소속 183명의 전문가를 대상으로 한 대규모 온라인 설문 조사로, 데이터 과학 워크플로의 여섯 단계 전반에 걸쳐 다양한 역할과 도구를 통해 데이터 과학 팀 간 협업이 매우 높은 수준임을 밝혀냈다. 주요 발견은 도구 유형에 따라 문서화 관행이 크게 다름을 보이며, 편향 탐지에서는 데이터 과학자와 엔지니어가 주로 담당하지만, 관리자와 커му니케이터는 정의성 관련 협업에 미흡하게 참여해 역할 간 책임 소재의 심각한 격차를 드러낸다.

ABSTRACT

Today, the prominence of data science within organizations has given rise to teams of data science workers collaborating on extracting insights from data, as opposed to individual data scientists working alone. However, we still lack a deep understanding of how data science workers collaborate in practice. In this work, we conducted an online survey with 183 participants who work in various aspects of data science. We focused on their reported interactions with each other (e.g., managers with engineers) and with different tools (e.g., Jupyter Notebook). We found that data science teams are extremely collaborative and work with a variety of stakeholders and tools during the six common steps of a data science workflow (e.g., clean data and train model). We also found that the collaborative practices workers employ, such as documentation, vary according to the kinds of tools they use. Based on these findings, we discuss design implications for supporting data science team collaborations and future research directions.

연구 동기 및 목표

• 기술적 역할이 아닌 관리자, 커뮤니케이터, 도메인 전문가와 같은 비기술적 역할을 포함해 개별 데이터 과학자 외의 데이터 과학 팀 협업 방식을 이해하는 것.
• 문제 정의, 데이터 수집, 데이터 정제, 모델링, 평가, 배포의 여섯 단계로 구성된 데이터 과학 워크플로의 각 단계에서 협업 패턴이 어떻게 다름을 분석하는 것.
• 예를 들어 Jupyter, 버전 관리, 문서화 도구와 같은 도구 사용이 코드 및 데이터 문서화와 같은 협업 행동에 어떻게 영향을 미치는지 조사하는 것.
• 데이터 과학 프로젝트 내에서 정의성 및 편향 완화에 다양한 역할이 어떻게 참여하는지 탐색하는 것.
• 협업 기반 데이터 과학 도구의 설계 시사점과 향후 연구 방향을 도출하는 것.

제안 방법

• IBM 소속 데이터 과학 전문가 183명을 대상으로 한 대규모 온라인 설문 조사로, 역할, 워크플로, 도구 사용에 중점을 두었다.
• 응답 내용을 여섯 단계로 구성된 데이터 과학 워크플로에 매핑하여 단계별 협업 패턴을 분석했다.
• 참가자를 다섯 가지 역할로 분류: 데이터 과학자, 엔지니어, 관리자, 커뮤니케이터, 도메인 전문가.
• 도구 사용 패턴과 문서화, 버전 관리와 같은 협업 관행 간의 관계를 분석했다.
• 자기 보고 협업 데이터를 바탕으로 다양한 역할이 정의성 및 편향 완화에 얼마나 참여하는지 조사했다.
• 주제적 분석과 정량적 분석을 활용해 협업 추세, 도구 의존도, 역할 기반 기여도의 경향을 파악했다.

실험 결과

연구 질문

• RQ1 데이터 과학자들이 데이터 과학 워크플로의 다양한 단계와 역할 간에 어떻게 협업하는가?
• RQ2 협업에 가장 널리 사용되는 도구는 무엇이며, 그 도구들이 문서화 및 투명성 관행에 어떻게 영향을 미치는가?
• RQ3 관리자, 도메인 전문가, 커뮤니케이터와 같은 다양한 역할이 데이터 과학 프로젝트에서 정의성 및 편향 탐지에 어떻게 기여하는가?
• RQ4 기술적 역할과 비기술적 팀원 간의 협업 행동에 어떤 주요 차이점이 있는가?
• RQ5 도구 선택이 데이터 과학 워크플로에서 문서화의 품질과 일관성에 어떻게 영향을 미치는가?

주요 결과

• 데이터 과학 팀은 매우 협업적인 편으로, 참가자들이 문제 정의부터 배포에 이르기까지 여섯 단계 전반에서 빈번한 상호작용을 보였다.
• 문서화 관행은 도구에 따라 크게 다름: Jupyter Notebook 사용자는 인라인 문서화를 더 많이 보고했고, 버전 관리 사용자는 커밋 메시지와 코드 주석에 더 중점을 두었다.
• 데이터 과학자와 엔지니어가 편향 탐지 및 완화의 주요 기여자로, 기술적 도구와 알고리즘을 활용해 정의성 문제를 식별하고 수정했다.
• 관리자와 커뮤니케이터는 정의성 관련 협업에 비해 미흡하게 참여하고 있으며, 정책 수립과 리스크 인식에 영향을 줄 수 있음에도 불구하고 그러한 잠재력이 활용되지 못하고 있음.
• 연구는 윤리적 AI 문제에 대한 역할 간 협업 격차를 드러내며, 비기술적 이해관계자가 정의성 논의에서 자주 배제된다는 점을 시사한다.
• 도구 선택은 협업 패턴에 강력한 영향을 미치며, 서로 다른 도구들이 서로 다른 형태의 문서화와 조율를 지원한다.