[논문 리뷰] How Does Automation Shape the Process of Narrative Visualization: A Survey of Tools

Qing Chen, Shixiong Cao외 2명|arXiv (Cornell University)|2022. 06. 24.

Data Visualization and Analytics인용 수 6

한 줄 요약

이 논문은 105개의 서사 시각화 도구를 다섯 가지 장르—주석이 달린 차트, 인포그래픽, 타임라인 및 스토리라인, 데이터 만화, 스크롤링 스토리텔링 및 슬라이드쇼, 데이터 영상—에 대해 분류하여 네 가지 자동화 수준(디자인 공간, 저작 도구, 머신러닝/인공지능 지원 도구, 머신러닝/인공지능 생성 도구)으로 분석한다. 자동화가 서사 시각화에 점점 통합되고 있음에도 불구하고, 현재 도구들은 사용자 의도에 대한 깊은 이해가 부족하고 복잡한 데이터 처리에 어려움을 겪고 있으며, 이는 지능형 추천 시스템과 하이브리드 인간-AI 저작 파이프라인의 기회를 시사한다.

ABSTRACT

In recent years, narrative visualization has gained much attention. Researchers have proposed different design spaces for various narrative visualization genres and scenarios to facilitate the creation process. As users' needs grow and automation technologies advance, increasingly more tools have been designed and developed. In this study, we summarized six genres of narrative visualization (annotated charts, infographics, timelines & storylines, data comics, scrollytelling & slideshow, and data videos) based on previous research and four types of tools (design spaces, authoring tools, ML/AI-supported tools and ML/AI-generator tools) based on the intelligence and automation level of the tools. We surveyed 105 papers and tools to study how automation can progressively engage in visualization design and narrative processes to help users easily create narrative visualizations. This research aims to provide an overview of current research and development in the automation involvement of narrative visualization tools. We discuss key research problems in each category and suggest new opportunities to encourage further research in the related domain.

연구 동기 및 목표

• 서사 시각화 도구에서 자동화가 디자인 및 서사 과정에 어떻게 영향을 미치는지 체계적으로 분석하는 것.
• 서사 시각화의 여섯 장르에 걸쳐 105개의 도구를 자동화 지능 수준에 따라 분류하고 조사하는 것.
• 현재 자동화에서의 주요 연구 격차, 특히 사용자 디자인 의도 이해 및 복잡한 데이터 처리에 대한 어려움을 규명하는 것.
• 서사 시각화 분야에서 지능형 추천 시스템과 하이브리드 인간-AI 저작 도구를 위한 새로운 연구 방향을 제안하는 것.
• 디자인 공간과 도구를 탐색할 수 있는 종합적이고 상호작용 가능한 참조 플랫폼(http://autovis.idvxlab.com/)을 제공하는 것.

제안 방법

• 서사 시각화의 다양한 장르와 자동화 수준과 관련된 105篇의 논문과 도구를 수집하고 분석하였다.
• 도구를 네 가지 자동화 수준으로 분류: 디자인 공간(이론적 프레임워크), 저작 도구(인터랙티브, 사용자 제어), 머신러닝/인공지능 지원 도구(추천 기반), 머신러닝/인공지능 생성 도구(완전 자동화 출력).
• 각 도구를 여섯 가지 서사 시각화 장르 중 하나 이상에 매핑하여 장르별 자동화 추세를 평가하였다.
• 장르 간 비교 분석을 통해 자동화 집중도와 성숙도의 차이를 규명하였다.
• 기존 머신러닝/인공지능 생성 도구의 한계를 규명하였으며, 데이터셋 간 일반화 능력 부족과 사용자 의도 모델링 부재가 주요 문제로 나타났다.
• 미래 연구를 위한 프레임워크를 제안하였으며, 사용자 디자인 과정과 결과를 학습하는 서사 추천 플랫폼을 포함한다.

실험 결과

연구 질문

• RQ1 다양한 장르에서 자동화가 서사 시각화 생성 과정에 점진적으로 어떻게 지원하는가?
• RQ2 여섯 가지 서사 시각화 장르 간 자동화 집중도와 성숙도의 주요 차이는 무엇인가?
• RQ3 현재의 머신러닝/인공지능 생성 도구들이 단순 통계 차트를 초월해 사용자 의도를 이해하거나 복잡한 데이터에 적응하는 데 어느 정도 성공하고 있는가?
• RQ4 기존 도구들이 데이터 변화를 설명하거나 사용자 중심의 서사 결정을 지원하는 데 어떤 한계를 지니고 있는가?
• RQ5 미래 도구는 어떻게 사용자 의도를 자동화된 서사 시각화 파이프라인에 더 잘 통합할 수 있는가?

주요 결과

• 조사에서 여섯 가지 서사 시각화 장르에 걸쳐 총 91개의 고유한 디자인 공간과 도구를 식별하였으며, 인포그래픽과 데이터 영상 분야에서 가장 활발히 연구되고 있다.
• 저작 도구가 여전히 지배적이며, 복잡한 장르에서 전체 자동화가 아직 가능하지 않음을 시사한다.
• Autoclips와 같은 머신러닝/인공지능 생성 도구는 사용자 입력 없이 출력을 생성할 수 있지만, 다양한 데이터셋이나 복잡한 데이터 유형에 일반화하기 어려운 경향이 있다.
• 사용자 디자인 의도를 모델링하는 도구가 현저히 부족하며, 현재 추천 시스템은 사용자 목표가 아닌 데이터 특성이나 디자인 규칙에 기반한다.
• 가장 유망한 미래 방향은 사용자 제어와 지능형 제안을 조합한 하이브리드 머신러닝/인공지능 지원 도구이며, 이는 사용성 향상과 디자인 다양성 향상에 기여할 수 있다.
• 수집된 도구와 디자인 공간을 시각화하고 탐색할 수 있는 상호작용형 브라우저(http://autovis.idvxlab.com/)를 개발하여 도구 탐색 가능성과 연구 접근성 향상을 도모하였다.