[논문 리뷰] Data2Vis: Automatic Generation of Data Visualizations Using Sequence to Sequence Recurrent Neural Networks

Victor Dibia, Çağatay Demiralp|arXiv (Cornell University)|2018. 04. 09.

Data Visualization and Analytics인용 수 14

한 줄 요약

이 논문은 데이터를 시각화 설계 문제를 신경 기계 번역 작업으로 간주함으로써 원시 데이터로부터 자동으로 Vega-Lite 시각화 사양을 생성하는 시퀀스-투-시퀀스 딥러닝 모델인 Data2Vis를 제안한다. Vega-Lite 사양 코퍼스를 기반으로 훈련된 모델은 데이터 속성과 변환을 적절한 시각적 인코딩으로 매핑하여 최소한의 사용자 입력으로도 인간 수준의 성능을 보이는 시각화를 생성하며, 종단 간 신경 시각화 생성의 가능성을 입증한다.

ABSTRACT

Rapidly creating effective visualizations using expressive grammars is challenging for users who have limited time and limited skills in statistics and data visualization. Even high-level, dedicated visualization tools often require users to manually select among data attributes, decide which transformations to apply, and specify mappings between visual encoding variables and raw or transformed attributes. In this paper we introduce Data2Vis, a neural translation model for automatically generating visualizations from given datasets. We formulate visualization generation as a sequence to sequence translation problem where data specifications are mapped to visualization specifications in a declarative language (Vega-Lite). To this end, we train a multilayered attention-based recurrent neural network (RNN) with long short-term memory (LSTM) units on a corpus of visualization specifications. Qualitative results show that our model learns the vocabulary and syntax for a valid visualization specification, appropriate transformations (count, bins, mean) and how to use common data selection patterns that occur within data visualizations. Data2Vis generates visualizations that are comparable to manually-created visualizations in a fraction of the time, with potential to learn more complex visualization strategies at scale.

연구 동기 및 목표

• 제한된 데이터 리터러시 또는 프로그래밍 기술을 가진 사용자들에게 효과적인 시각화를 신속하고 정확하게 생성하는 데 도전하는 것.
• Vega-Lite와 같은 선언적 문법을 사용한 수동 시각화 작성의 인지적 및 기술적 부담을 줄이는 것.
• 딥러닝이 수동으로 정의된 히우리스틱이 아닌 기존 예시들로부터 시각화 설계 규칙을 암묵적으로 학습할 수 있는지 탐색하는 것.
• 신경망을 사용하여 데이터 시각화를 시퀀스-투-시퀀스 번역 문제로 공식화할 수 있는지 보여주는 것.
• 종단 간 학습 가능한 모델을 통해 더 빠르고 확장 가능하며 접근성이 높은 데이터 시각화를 가능하게 하는 것.

제안 방법

• 데이터에서 시각화 생성을 시퀀스-투-시퀀스 번역 문제로 공식화하여, 데이터 사양을 Vega-Lite JSON 기반의 시각화 사양으로 매핑한다.
• 장기 기억 단기 기억(기억단기기억, LSTM) 유닛과 어텐션 메커니즘을 사용한 인코더-디코더 아키텍처를 사용하여 입력 데이터와 출력 시각화 간의 종속성을 모델링한다.
• 실제 데이터셋과 기존 시각화 예시들에서 유래한 1,000개의 Vega-Lite 시각화 사양으로 구성된 정제된 코퍼스를 기반으로 모델을 훈련한다.
• 입력 데이터를 각 행을 필드 이름, 유형, 값으로 나타내는 토큰의 시퀀스로 인코딩하여 효율적인 시퀀스 모델링을 가능하게 한다.
• 추론 과정에서 비트 서치 디코딩을 사용하여 단일 데이터셋으로부터 다수의 타당한 시각화 출력을 생성한다.
• 실시간 시각화 생성을 시연하기 위해 훈련된 모델을 공개 웹 애플리케이션에 통합한다.

실험 결과

연구 질문

• RQ1 신경 시퀀스-투-시퀀스 모델은 원시 데이터로부터 유효하고 효과적인 Vega-Lite 시각화 사양을 직접 학습하여 생성할 수 있는가?
• RQ2 명시적인 규칙 설계 없이도 이러한 모델이 적절한 데이터 변환(예: 카운트, 평균, 바이닝)과 시각적 인코딩 매핑을 어느 정도 학습할 수 있는가?
• RQ3 정확성, 표현력, 사용성 측면에서 생성된 시각화는 수동으로 작성된 것과 얼마나 비교될 수 있는가?
• RQ4 비트 서치를 통해 모델은 새로운 데이터셋에 일반화되어 다양한 타당한 시각화를 생성할 수 있는가?
• RQ5 특히 평균, 범위와 같은 분포 수준의 특징이 입력 표현에 포함되지 않을 경우, 현재 데이터 표현 방식의 한계는 무엇인가?

주요 결과

• 모델은 Vega-Lite의 문법과 어휘를 성공적으로 학습하여 원시 데이터 입력으로부터 유효하고 의미적으로 유의미한 시각화 사양을 생성한다.
• Data2Vis는 단변량 및 이변량 시각화를 생성하며, 수동으로 작성된 것과 정성적으로 유사한 결과를 보이며 저자 작성 시간을 크게 줄인다.
• 카운트, 바이닝, 평균과 같은 일반적인 데이터 변환을 학습하여 시각화에서 사용되는 핵심 데이터 정제 패턴을 포착하고 있음을 나타낸다.
• 비트 서치 디코딩을 통해 단일 데이터셋으로부터 다수의 타당한 시각화를 생성함으로써 탐색적 데이터 분석을 지원한다.
• 모델은 새로운 데이터셋으로의 일반화 능력을 보이며, 입력 표현에 분포 수준의 특징(예: 평균, 범위)이 포함되지 않은 점으로 인해 성능에 제한이 있음을 확인하였다.
• 이러한 접근은 종단 간 신경 시각화 생성을 위한 타당한 베이스라인을 확립하며, 향후 다중 모odal 및 다중 문법 학습 분야의 연구를 위한 길을 열어준다.