[논문 리뷰] Human-AI Collaboration in Data Science: Exploring Data Scientists' Perceptions of Automated AI

Dakuo Wang, Justin D. Weisz외 7명|arXiv (Cornell University)|2019. 09. 05.

Big Data and Business Intelligence참고 문헌 58인용 수 81

한 줄 요약

이 논문은 20명의 IBM 데이터 사이언티스트를 대상으로 반구조화 면접을 통해 데이터 사이언티스트가 AutoAI를 어떻게 인식하고 미래의 데이터 사이언스 실무에서 AutoAI의 역할을 어떻게 보는지 탐구한다.

ABSTRACT

The rapid advancement of artificial intelligence (AI) is changing our lives in many ways. One application domain is data science. New techniques in automating the creation of AI, known as AutoAI or AutoML, aim to automate the work practices of data scientists. AutoAI systems are capable of autonomously ingesting and pre-processing data, engineering new features, and creating and scoring models based on a target objectives (e.g. accuracy or run-time efficiency). Though not yet widely adopted, we are interested in understanding how AutoAI will impact the practice of data science. We conducted interviews with 20 data scientists who work at a large, multinational technology company and practice data science in various business settings. Our goal is to understand their current work practices and how these practices might change with AutoAI. Reactions were mixed: while informants expressed concerns about the trend of automating their jobs, they also strongly felt it was inevitable. Despite these concerns, they remained optimistic about their future job security due to a view that the future of data science work will be a collaboration between humans and AI systems, in which both automation and human expertise are indispensable.

연구 동기 및 목표

• 기업 환경에서 현재의 데이터 사이언스 작업 관행을 이해하고 AutoAI가 그것에 어떻게 들어맞거나 변화시킬 수 있는지 파악한다.
• 데이터 사이언티스트의 AutoAI에 대한 태도(인식된 이점, 단점, 신뢰, 직무 역할에 미치는 영향)를 탐색한다.
• 데이터 사이언스에서의 인간-AI 협력 패턴을 특징짓고 AutoAI가 협력자로서 어떻게 기능할 수 있는지 규명한다.
• AutoAI가 데이터 사이언스 워크플로에서 도구로 간주되는지 아니면 1급 파트너로 간주되는지 평가한다.

제안 방법

• 다양한 비즈니스 맥락에서 활발히 데이터 사이언스를 수행하는 IBM의 데이터 사이언티스트 20명을 대상으로 반구조화 인터뷰를 수행하였다.
• 참가자들의 이해를 돕기 위해 AutoAI 시연(진행 상황 표시, 파이프라인 시각화, 리더보드가 포함된 UI)을 보여주었다.
• 인터뷰 노트 약 80쪽과 트랜스크립트 약 400쪽에 대해 오픈 코딩을 수행하여 주제를 식별하였다.
• 참가자들의 작업 관행을 개인 분석과 공동 아이디어 생성의 ‘산발적 수집-집합’ 사이클로 묘사하였다.
• AutoAI를 단순한 도구 모음 추가가 아닌 잠재적 1급 협력자로 위치시키기 위해 관련 HCI/CSCW 문헌을 검토하였다.

실험 결과

연구 질문

• RQ1 기업 환경에서 데이터 사이언티스트가 현재 데이터를 어떻게 다루고 있는지, AutoAI가 어디에 들어맞을 수 있는지?
• RQ2 데이터 사이언티스트의 AutoAI의 이점, 단점, 신뢰에 대한 인식은 무엇이며 AutoAI가 협업과 워크플로를 어떻게 변화시킬 수 있는가?
• RQ3 데이터 준비, 모델링, 배포 전반에 걸쳐 AutoAI가 데이터 과학 프로세스를 어떻게 지원하거나 방해할 수 있는가?
• RQ4 도메인 지식과 교차 분야 협력이 AutoAI를 데이터사이언스 업무에 통합하는 데 어떤 영향을 미치는가?
• RQ5 협업 워크플로에서 인간 데이터 사이언티스트와 AutoAI가 어떤 미래 역할을 맡을 수 있는가?

주요 결과

• 데이터 사이언티스트는 AutoAI에 대해 혼합된 감정을 보고하며, 깊이가 줄어들 우려와 협업 및 효율성 향상에 대한 낙관을 모두 나타낸다.
• AutoAI는 데이터 사이언스의 피할 수 없는 미래로 보이며, 워크플로와 직무 역할을 변화시킬 가능성이 있다.
• 산발-수집(scatter-gather) 협업 패턴이 나타나며, AutoAI가 산발 단계에서 개인 생산성을 높이고 모임 단계에서 팀 심의를 지원할 수 있다.
• AutoAI는 도구에 불과한 것이 아니라 교차 팀 조정과 투명성을 갖춘 잠재적 1급 협력자로 특징지어진다.
• 데이터 과학자들은 AutoAI를 인간 전문 지식에 보완적이라고 보고하는 한편, 관리자는 자동화로 인한 비용 절감 가능성에 매력을 느낀다.
• 우려에는 자동화가 해석 가능성 및 인간 감독을 감소시켜 저품질 모델 배포 위험이 따른다는 점이 포함된다.