[论文解读] Effortless Data Exploration with zenvisage: An Expressive and Interactive Visual Analytics System

Tarique Siddiqui, Albert Kim+3 more|arXiv (Cornell University)|Apr 12, 2016

Data Visualization and Analytics参考文献 48被引用 19

一句话总结

本文介绍了ZenVisage，一种富有表现力且交互式的可视化分析系统，通过ZQL——一种用于查询和组合可视化效果的领域特定语言——实现轻松的数据探索。通过结合基于维度的迭代、功能原语T（趋势分析）和D（相异度度量），以及可插拔的用户自定义函数，ZenVisage 支持复杂分析任务，如趋势过滤、相似性搜索和异常检测，采用优化的基于SQL的执行方式与并行化处理，以提升性能。

ABSTRACT

Data visualization is by far the most commonly used mechanism to explore data, especially by novice data analysts and data scientists. And yet, current visual analytics tools are rather limited in their ability to guide data scientists to interesting or desired visualizations: the process of visual data exploration remains cumbersome and time-consuming. We propose zenvisage, a platform for effortlessly visualizing interesting patterns, trends, or insights from large datasets. We describe zenvisage's general purpose visual query language, ZQL ("zee-quel") for specifying the desired visual trend, pattern, or insight - ZQL draws from use-cases in a variety of domains, including biology, mechanical engineering, climate science, and commerce. We formalize the expressiveness of ZQL via a visual exploration algebra, and demonstrate that ZQL is at least as expressive as that algebra. While analysts are free to use ZQL directly, we also expose ZQL via a visual specification interface that we describe in this paper. We then describe our architecture and optimizations, preliminary experiments in supporting and optimizing for ZQL queries in our initial zenvisage prototype, and a user study to evaluate whether data scientists are able to effectively use zenvisage for real applications.

研究动机与目标

• 为解决交互式、可扩展的数据探索挑战，使用户无需编写代码即可表达复杂的可视化分析任务。
• 通过将底层数据操作抽象为高层、可组合的查询，降低探索大规模数据可视化时的认知与技术负担。
• 通过表达性强的查询结构（如基于维度的迭代、趋势与相似性函数，以及可扩展的用户自定义函数）支持灵活、用户主导的探索。
• 通过并行化处理和基于SQL的可视化计算的推测执行，优化查询性能。

提出的方法

• ZQL 是一种领域特定语言，允许用户通过轴变量、可视化集合，以及使用过滤和优化操作符处理列来定义可视化效果。
• 系统使用两种核心功能原语：T(f) 计算可视化 f 的实值趋势得分（例如斜率），D(f,f') 使用欧几里得距离或Kullback-Leibler散度等度量方法，衡量两个可视化之间的相异度。
• ZQL 支持基于维度的迭代，用于在多个维度（如产品、地点）上探索可视化效果，实现可视化集合的组合与过滤。
• 系统将 ZQL 查询转换为数据库执行的优化 SQL 查询，结果以 f# 标签标记的多维数组形式打包。
• 查询计划通过自动循环嵌套生成，用于处理如 argmax/argmin 等操作，ZQL 编译器应用多查询优化和推测技术以提升性能。
• 可插拔的基于 Java 的函数允许用户通过自定义逻辑扩展 ZQL，但这些函数被视为黑箱，编译器不会对其进行优化。

实验结果

研究问题

• RQ1 用户如何在不编写低级代码的情况下高效探索大规模可视化集合？
• RQ2 支持趋势检测、相似性搜索和异常识别等常见可视化分析任务，需要哪些表达性查询原语？
• RQ3 在处理数千个可视化效果时，如何优化可视化查询执行的性能？
• RQ4 高层可视化查询在多大程度上可被编译为高效的数据库操作？

主要发现

• ZQL 使用一组极简但富有表现力的原语，支持广泛的可视化分析任务，包括趋势过滤、相似性搜索和异常检测。
• 通过使用功能原语 T 和 D，用户无需编写自定义代码即可表达复杂的可视化属性与比较。
• 对独立的 c-node SQL 查询进行并行化处理，显著提升了性能，通过多查询优化减少了磁盘 I/O。
• 对 c-node 的超集查询进行推测执行，通过预取可能需要的数据，降低了依赖查询计划中的延迟。
• 系统将 ZQL 高效转换为优化的 SQL 计划，从而实现了复杂可视化分析工作流的高效执行。
• 可插拔函数扩展了 ZQL 的能力，但因无法自动优化，凸显了表达性与性能之间的权衡。