[논문 리뷰] Why is AI not a Panacea for Data Workers? An Interview Study on Human-AI Collaboration in Data Storytelling

Haotian Li, Yun Wang외 2명|arXiv (Cornell University)|2023. 04. 17.

Scientific Computing and Data Management인용 수 9

한 줄 요약

본 연구는 데이터 스토리텔링 워크플로우 전반에서 데이터 작업자들이 AI와 협업하고자 하는 위치, 방식, 이유를 파악하기 위해 18명의 데이터 작업자를 인터뷰하고, 네 가지 AI 역할과 혼합된 주체-자동화 패턴을 제안한다.

ABSTRACT

Data storytelling plays an important role in data workers' daily jobs since it boosts team collaboration and public communication. However, to make an appealing data story, data workers spend tremendous efforts on various tasks, including outlining and styling the story. Recently, a growing research trend has been exploring how to assist data storytelling with advanced artificial intelligence (AI). However, existing studies may focus on individual tasks in the workflow of data storytelling and do not reveal a complete picture of humans' preference for collaborating with AI. To better understand real-world needs, we interviewed eighteen data workers from both industry and academia to learn where and how they would like to collaborate with AI. Surprisingly, though the participants showed excitement about collaborating with AI, many of them also expressed reluctance and pointed out nuanced reasons. Based on their responses, we first characterize stages and tasks in the practical data storytelling workflows and the desired roles of AI. Then the preferred collaboration patterns in different tasks are identified. Next, we summarize the interviewees' reasons why and why not they would like to collaborate with AI. Finally, we provide suggestions for human-AI collaborative data storytelling to hopefully shed light on future related research.

연구 동기 및 목표

• 실제 데이터 스토리텔링 워크플로우의 단계와 작업을 특징화한다.
• 계획, 실행, 커뮤니케이션 단계 전반에서 데이터 작업자들이 AI와 협업하고자 하는 위치와 방식을 식별한다.
• 주체-자동화 프레임워크를 사용하여 AI 역할에 대한 선호를 분석한다.
• 데이터 스토리텔링에서 AI를 도입하는 것에 대한 찬반 이유를 요약하고 설계 지침을 제공한다.

제안 방법

• 학계와 산업계의 18명의 데이터 작업자를 대상으로 반구조화 인터뷰를 실시했다.
• 마인드 맵을 사용하여 각 참가자의 데이터 스토리텔링 워크플로우를 도출했다.
• 인터뷰 대본으로부터 협업 패턴과 AI 역할을 도출하기 위해 반복적 코딩을 적용했다.

Figure 1 : This figure summarizes participants’ opinions about where and how they would like to collaborate with AI. (a) demonstrates AI collaborators’ roles against AI automation and human agency. (b) shows tasks in the existing workflows of our interviewees and (c) illustrates the expected AI coll

실험 결과

연구 질문

• RQ1 데이터 스토리텔링 워크플로우에서 인간은 AI와 어디에서 협업하고 싶어하는가?
• RQ2 다양한 스토리텔링 작업에서 인간은 AI와 어떻게 협업하고 싶어하는가?
• RQ3 데이터 스토리텔링에서 데이터 작업자들이 AI와 협업을 선호하거나 저항하는 이유는 무엇인가?
• RQ4 어떤 AI 역할과 협업 패턴이 데이터 스토리텔링 워크플로우에 가장 잘 맞는가?

주요 결과

• 데이터 스토리텔링 워크플로우는 세 가지 단계(planning, execution, communication)와 여덟 가지 작업으로 구성된다.
• 참여자들은 네 가지 AI 역할—creator, optimizer, reviewer, and assistant—를 선호하며, 이는 주체-자동화 스펙트럼에 따라 매핑된다.
• 협업 패턴은 계획 및 실행에 집중되며, AI는 데이터 사실 수집의 보조자, 이야기 조각 및 스타일링의 창작자 또는 최적화자로 자주 작용한다.
• 반복 작업의 작업량을 줄이기 위한 AI 접근은 가치 있지만, AI가 맥락을 이해하고 인간의 통제를 유지하는지에 대한 우려가 제기된다.
• 사람들은 단계 간 혼합 패턴을 선호하며, AI 자동화와 함께 높은 인간 주체성(agency plus automation)을 지향한다.
• 대다수의 참여자들은 인간의 스토리텔링을 완전히 대체하는 것을 주저하며, 청중의 이해와 맥락적 뉘앙스를 보존하는 AI 지원을 선호한다.

Figure 2 : This figure summarizes (1) the interviewees’ opinions about why and why not AI collaborators are preferred and (2) our suggestions for future AI-powered data storytelling tools.