[논문 리뷰] Where Are We So Far? Understanding Data Storytelling Tools from the Perspective of Human-AI Collaboration

Haotian Li, Yun Wang외 1명|arXiv (Cornell University)|2023. 09. 27.

Big Data and Business Intelligence인용 수 4

한 줄 요약

이 논문은 데이터 스토리텔링 도구에서 인간-AI 협업을 분석하기 위한 체계적인 프레임워크를 제시한다. 이 프레임워크는 분석, 기획, 구현, 공유의 네 가지 워크플로우 단계에 걸쳐 功能를 분류하고, 창작자, 보조자, 최적화자, 검토자 등의 역할을 매핑한다. 연구 결과, 2019년 이후 인간-AI 협업이 가속화되었으며, 역할 분배와 워크플로우 통합에서 반복적인 패턴이 나타나며, 자동화, 소통, 다중 에이전트 협업 분야에서의 설계 통찰과未해결 연구 기회를 제공한다.

ABSTRACT

Data storytelling is powerful for communicating data insights, but it requires diverse skills and considerable effort from human creators. Recent research has widely explored the potential for artificial intelligence (AI) to support and augment humans in data storytelling. However, there lacks a systematic review to understand data storytelling tools from the perspective of human-AI collaboration, which hinders researchers from reflecting on the existing collaborative tool designs that promote humans' and AI's advantages and mitigate their shortcomings. This paper investigated existing tools with a framework from two perspectives: the stages in the storytelling workflow where a tool serves, including analysis, planning, implementation, and communication, and the roles of humans and AI in each stage, such as creators, assistants, optimizers, and reviewers. Through our analysis, we recognize the common collaboration patterns in existing tools, summarize lessons learned from these patterns, and further illustrate research opportunities for human-AI collaboration in data storytelling.

연구 동기 및 목표

• 기본적인 스토리텔링 워크플로우 단계—분석, 기획, 구현, 공유—에서 기존 데이터 스토리텔링 도구에서 인간-AI 협업의 구조를 이해하는 것.
• 각 단계에서 창작자, 보조자, 최적화자, 검토자 등의 역할을 분석함으로써 인간과 AI 간의 반복적 협업 패턴을 특정하는 것.
• 2010년에서 2023년까지 인간-AI 공동 작업 기반 데이터 스토리텔링 도구에 대한 체계적 리뷰를 제공하여 연구 추세와 설계 격차를 부각하는 것.
• 학습된 통찰을 요약하고 자동화, 소통, 다중 에이전트 협업 분야에서 미개척된 연구 기회를 특정함으로써 향후 도구 설계에 기여하는 것.
• 인간-AI 공동 작업 기반 데이터 스토리텔링 시스템의 진화를 추적하기 위한 온라인 도구 브라우저를 통해 지속 가능한 연구 자원을 구축하는 것.

제안 방법

• 저자들은 2010–2023년 동안 VIS 및 HCI 문헌에서 인간-AI 공동 작업 기반 데이터 스토리텔링 도구에 중점을 둔 논문 코퍼스를 구축했다.
• 이중 차원 프레임워크를 적용했다: (1) 스토리텔링 워크플로우 단계—분석, 기획, 구현, 공유—와 (2) 인간 및 AI 협업자 역할—창작자, 보조자, 최적화자, 검토자.
• 각 도구는 그가 포함하는 단계와 각 단계에서 인간과 AI가 수행하는 정의된 역할에 따라 코드화되었다.
• 분석을 통해 공통된 협업 패턴, 설계 추세, 단계 및 역할 간의 격차를 규명했다.
• coded 데이터에서 설계 원칙, 과제, 연구 기회를 추출하기 위해 정성적 합성 기법을 사용했다.
• 저자들은 https://human-ai-universe.github.io/data-storytelling 에 위치한 온라인 도구 브라우저를 개발하고 유지 관리하여 이러한 도구들의 진화하는 환경을 추적하고 업데이트하고 있다.

실험 결과

연구 질문

• RQ1 인간-AI 공동 작업 기반 데이터 스토리텔링 도구는 데이터 스토리텔링의 단계—분석, 기획, 구현, 공유—에서 역할을 어떻게 분배하고 있는가?
• RQ2 기존 데이터 스토리텔링 도구에서 인간과 AI 간의 주요 협업 패턴은 무엇이며, 이는 각 단계에서 어떻게 다를까?
• RQ3 데이터 스토리텔링 도구에서 인간-AI 협업을 분석함으로써 도출되는 설계 원칙과 과제는 무엇인가?
• RQ4 2010년에서 2023년까지 인간-AI 협업에 대한 연구 초점은 어떻게 진화해 왔는가?
• RQ5 인간-AI 데이터 스토리텔링 시스템에서 자동화, 소통, 다중 에이전트 협업을 향상시키기 위한 향후 연구 기회로는 무엇이 있는가?

주요 결과

• 2019년 이후 인간-AI 공동 작업 기반 데이터 스토리텔링 도구는 연구적 관심을 크게 확보했으며, 2016년에서 2018년까지는 순수 수동 도구의 지배적 시기였다.
• 가장 흔한 협업 패턴은 AI가 데이터 분석 및 시각화 생성에서 보조자 역할을 수행하고, 인간이 기획 및 공유 단계에서 창작자와 검토자 역할을 수행하는 것이다.
• AI는 주로 데이터 사실 탐색, 시각화 추천, 피드백 생성을 지원하는 데 사용되며, 인간은 도메인 지식, 창의성, 맥락 인식 능력을 기여한다.
• 최적화자 및 검토자 역할은 덜 구현되어 있어, 스토리텔링 워크플로우에서 품질 평가 및 정밀 조정을 위한 AI 활용이 아직 충분히 이루어지지 않았음을 시사한다.
• 다중 인간 및 다중 AI 협업을 지원하는 도구에 대한 뚜렷한 격차가 있으며, 이는 복잡한 스토리텔링 환경에서의 조율 메커니즘에 대한 새로운 수요가 존재함을 시사한다.
• 프로그래밍, 스케치, 제스처 등의 인간과 AI 간 소통 방법은 아직 충분히 연구되지 않은 분야이며, 향후 연구에 매우 높은 잠재력을 지닌다.