[논문 리뷰] How Much Automation Does a Data Scientist Want?

Dakuo Wang, Q. Vera Liao외 6명|arXiv (Cornell University)|2021. 01. 07.

Persona Design and Applications참고 문헌 111인용 수 25

한 줄 요약

논문은 5단계 자동화, 10개 라이프사이클 단계, 43개 하위 작업, 5가지 설명 유형, 6가지 사용자 역할을 갖춘 포괄적인 인간-in-the-loop AutoML 프레임워크를 제시한 뒤, 217명의 DS/ML 노동자를 대상으로 원하는 자동화와 설명을 연구하는 설문을 실시하고 엔드 투 엔드 전체 자동화에 반대하는 주장을 제시한다.

ABSTRACT

Data science and machine learning (DS/ML) are at the heart of the recent advancements of many Artificial Intelligence (AI) applications. There is an active research thread in AI, \autoai, that aims to develop systems for automating end-to-end the DS/ML Lifecycle. However, do DS and ML workers really want to automate their DS/ML workflow? To answer this question, we first synthesize a human-centered AutoML framework with 6 User Role/Personas, 10 Stages and 43 Sub-Tasks, 5 Levels of Automation, and 5 Types of Explanation, through reviewing research literature and marketing reports. Secondly, we use the framework to guide the design of an online survey study with 217 DS/ML workers who had varying degrees of experience, and different user roles "matching" to our 6 roles/personas. We found that different user personas participated in distinct stages of the lifecycle -- but not all stages. Their desired levels of automation and types of explanation for AutoML also varied significantly depending on the DS/ML stage and the user persona. Based on the survey results, we argue there is no rationale from user needs for complete automation of the end-to-end DS/ML lifecycle. We propose new next steps for user-controlled DS/ML automation.

연구 동기 및 목표

• 라이프사이클 단계, 작업, 자동화 수준 및 설명을 포괄하는 인간 중심 AutoML 프레임워크를 구성한다.
• 온라인 설문조사를 통해 DS/ML 실무자들의 자동화 및 설명에 대한 필요와 선호를 조사한다.
• DS/ML 라이프사이클의 완전한 엔드투엔드 자동화에 대한 수요가 있는지 평가한다.
• 향후 인간-in-the-loop AutoML 연구 및 설계를 위한 지침을 제공한다.

제안 방법

• 5가지 유형의 설명과 함께 6역할, 10단계, 43개 하위 작업의 AutoML 프레임워크를 5단계 자동화와 5가지 유형의 설명으로 구성한다.
• DS/ML 라이프사이클 프레임워크를 정의하고 단계와 하위 작업을 분류한다.
• 프레임워크의 페르소나에 맞춘 217명의 DS/ML 노동자를 대상으로 하는 온라인 설문조사를 설계한다.
• 단계와 역할에 따라 선호하는 자동화 수준과 설명의 변화를 식별하기 위해 설문 응답을 분석한다.
• 연구 결과를 종합하여 전체 엔드투엔드 자동화를 우선시하는 것을 반대하고 향후 HITL AutoML 방향을 제시한다.

실험 결과

연구 질문

• RQ1 다양한 DS/ML 역할이 서로 다른 라이프사이클 단계에서 어떤 자동화 수준을 원하는가?
• RQ2 단계와 역할에 따라 사용자가 AutoML 출력과 함께 원하는 설명의 유형은 무엇인가?
• RQ3 DS/ML 라이프사이클의 엔드투엔드 자동화 필요성을 뒷받침하는 증거가 있는가?
• RQ4 역할 간 인간-in-the-loop 협업을 지원하도록 AutoML 시스템을 어떻게 설계해야 하는가?
• RQ5 인간 중심 AutoML의 향후 연구 및 설계에 대한 시사점은 무엇인가?

주요 결과

• 다른 페르소나가 라이프사이클 전체에 고르게 관여하는 것이 아니라 서로 다른 단계와 작업에 관여한다.
• 원하는 자동화 수준과 설명 유형은 라이프사이클 단계와 사용자 역할에 따라 크게 달라진다.
• 라이프사이클의 완전한(L4) 엔드투엔드 자동화에 대한 사용자 요구 측면의 강력한 근거는 없다.
• 프레임워크는 실무자 경험과 일치하며 AutoML 시스템의 사용자 중심 설계 방향을 뒷받침한다.
• 전체 자동화보다는 사용자 제어가 가능한 DS/ML 자동화를 강조하는 다음 단계가 필요하다.