[论文解读] Lux: Always-on Visualization Recommendations for Exploratory Data Science.

Doris Jung Lin Lee, Dixin Tang+9 more|arXiv (Cornell University)|Apr 30, 2021

Data Visualization and Analytics参考文献 43被引用 5

一句话总结

Lux 是一个集成在数据科学笔记本中的持续运行的可视化推荐系统，当用户打印数据框时，能自动推荐有意义的可视化和分析路径。通过使用高级可视化语言和系统优化，Lux 在 98% 的 UCI 数据集上引入的延迟不足两秒，显著提升了探索性数据分析的效率。

ABSTRACT

Exploratory data science largely happens in computational notebooks with dataframe API, such as pandas, that support flexible means to transform, clean, and analyze data. Yet, visually exploring data in dataframes remains tedious, requiring substantial programming effort for visualization and mental effort to determine what analysis to perform next. We propose Lux, an always-on framework for accelerating visual insight discovery in data science workflows. When users print a dataframe in their notebooks, Lux recommends visualizations to provide a quick overview of the patterns and trends and suggests promising analysis directions. Lux features a high-level language for generating visualizations on-demand to encourage rapid visual experimentation with data. We demonstrate that through the use of a careful design and three system optimizations, Lux adds no more than two seconds of overhead on top of pandas for over 98% of datasets in the UCI repository. We evaluate Lux in terms of usability via a controlled first-use study and interviews with early adopters, finding that Lux helps fulfill the needs of data scientists for visualization support within their dataframe workflows. Lux has already been embraced by data science practitioners, with over 1.9k stars on Github within its first 15 months.

研究动机与目标

• 降低数据科学工作流中可视化探索的认知负担和编程负担。
• 通过使用 pandas 等工具，将可视化推荐无缝集成到现有的基于数据框的工作流中。
• 在提供及时、相关可视化建议的同时，将性能开销最小化。
• 通过直观、按需提供的推荐，支持快速可视化实验和洞察发现。
• 在真实世界的数据科学场景中评估其可用性和实际采纳情况。

提出的方法

• Lux 在打印数据框时分析其内容，并应用模式识别技术，以识别显著的趋势和关系。
• 它使用一种高级领域特定语言（DSL）按需生成可视化，支持快速实验。
• 该系统采用三种关键优化技术，以确保极低的性能开销——缓存、延迟计算和选择性分析。
• 可视化推荐基于数据框中检测到的统计模式、相关性和数据分布生成。
• Lux 直接集成到计算笔记本中，提供推荐而无需用户更改其工作流程。
• 该框架通过学习数据特征，优先推荐相关可视化和分析方向。

实验结果

研究问题

• RQ1 如何在不打断用户流程的前提下，将可视化推荐无缝集成到交互式数据科学工作流中？
• RQ2 持续运行的可视化推荐系统在常见数据分析工作负载上会带来多大的性能开销？
• RQ3 与手动方法相比，自动化可视化推荐在支持探索性数据分析方面的有效性如何？
• RQ4 在真实世界的数据科学任务中，用户在多大程度上认为此类推荐是有用且直观的？
• RQ5 为在提供丰富可视化洞察的同时保持低延迟，需要哪些系统优化？

主要发现

• Lux 在 UCI 数据库 98% 的数据集上引入的延迟不超过两秒，证明了其出色的性能效率。
• 该框架通过在打印数据框时立即提供相关且有意义的可视化建议，显著减少了可视化探索所需的工作量。
• 通过对照实验和对早期采用者的访谈，证实了 Lux 在满足数据科学工作流中可视化支持的实际需求方面表现良好。
• 在 15 个月内获得了超过 1900 个 GitHub 星标，表明数据科学社区对其有强烈的采纳和认可。
• 用户报告称，在使用 Lux 的推荐进行数据探索时，效率提高且认知负荷降低。
• 高级 DSL 支持快速可视化实验，从而增强了探索性数据分析过程。