[论文解读] Data2Vis: Automatic Generation of Data Visualizations Using Sequence to Sequence Recurrent Neural Networks

Victor Dibia, Çağatay Demiralp|arXiv (Cornell University)|Apr 9, 2018

Data Visualization and Analytics被引用 14

一句话总结

本文提出 Data2Vis，一种序列到序列的深度学习模型，通过将可视化设计视为神经机器翻译任务，能够从原始数据自动生成 Vega-Lite 可视化规范。该模型在 Vega-Lite 规范语料库上进行训练，学习将数据属性和转换映射到适当的视觉编码，仅需最少的用户输入即可生成与人类相当的可视化效果，证明了端到端神经可视化生成的可行性。

ABSTRACT

Rapidly creating effective visualizations using expressive grammars is challenging for users who have limited time and limited skills in statistics and data visualization. Even high-level, dedicated visualization tools often require users to manually select among data attributes, decide which transformations to apply, and specify mappings between visual encoding variables and raw or transformed attributes. In this paper we introduce Data2Vis, a neural translation model for automatically generating visualizations from given datasets. We formulate visualization generation as a sequence to sequence translation problem where data specifications are mapped to visualization specifications in a declarative language (Vega-Lite). To this end, we train a multilayered attention-based recurrent neural network (RNN) with long short-term memory (LSTM) units on a corpus of visualization specifications. Qualitative results show that our model learns the vocabulary and syntax for a valid visualization specification, appropriate transformations (count, bins, mean) and how to use common data selection patterns that occur within data visualizations. Data2Vis generates visualizations that are comparable to manually-created visualizations in a fraction of the time, with potential to learn more complex visualization strategies at scale.

研究动机与目标

• 为快速且准确地创建有效可视化提供解决方案，尤其针对数据素养或编程技能有限的用户。
• 通过使用类似 Vega-Lite 的声明式语法，减轻手动创建可视化时的认知与技术负担。
• 探索深度学习是否能够从现有示例中隐式学习可视化设计规则，而非依赖手工编码的启发式规则。
• 证明将数据可视化形式化为使用神经网络的序列到序列翻译问题的可行性。
• 通过端到端可训练模型，实现更快、更可扩展且更易访问的数据可视化。

提出的方法

• 将数据到可视化的生成问题形式化为序列到序列的翻译问题，将数据规范映射为基于 JSON 的 Vega-Lite 可视化规范。
• 采用编码器-解码器架构，结合长短期记忆（LSTM）单元和注意力机制，以建模输入数据与输出可视化之间的依赖关系。
• 在从真实数据集和现有可视化示例中提取的 1,000 个 Vega-Lite 可视化规范的精选语料库上进行模型训练。
• 通过将每一行数据编码为表示字段名、类型和值的标记序列，对输入数据进行预处理，以支持高效的序列建模。
• 在推理阶段采用束搜索解码，为单个数据集生成多个合理可能的可视化输出。
• 将训练好的模型集成到一个公开可用的网络应用中，以演示实时可视化生成。

实验结果

研究问题

• RQ1 神经序列到序列模型能否直接从原始数据学习生成有效且正确的 Vega-Lite 可视化规范？
• RQ2 此类模型在无需显式规则工程的情况下，能在多大程度上学习到适当的数据转换（例如，计数、均值、分箱）和视觉编码映射？
• RQ3 在正确性、表现力和可用性方面，生成的可视化与手工创建的可视化相比表现如何？
• RQ4 模型能否泛化到未见过的数据集，并通过束搜索生成多样且合理的可视化？
• RQ5 当前模型中数据表示的局限性是什么，特别是关于分布级特征（如均值、范围）的缺失？

主要发现

• 该模型成功学习了 Vega-Lite 的语法和词汇，能够从原始数据输入生成有效且语义合理的可视化规范。
• Data2Vis 生成的单变量和双变量可视化在定性上可与手工创建的可视化相媲美，显著减少了创作时间。
• 该模型学会了应用常见的数据转换，如计数、分箱和均值，表明其捕捉到了可视化中常用的数据整理模式。
• 束搜索解码支持从单个数据集中生成多个合理可能的可视化，有助于探索性数据分析。
• 该模型在未见过的数据集上表现出泛化能力，但性能受限于输入表示中缺乏分布级特征（如均值、范围）。
• 该方法为端到端神经可视化生成建立了可行基线，为未来在多模态和多语法学习方面的研究开辟了道路。