[论文解读] Applying Machine Learning Advances to Data Visualization: A Survey on ML4VIS.

Qianwen Wang, Zhutian Chen+2 more|arXiv (Cornell University)|Dec 1, 2020

Data Visualization and Analytics参考文献 7被引用 22

一句话总结

本综述介绍了ML4VIS框架，该框架将机器学习整合到可视化流程中，以提升设计、开发和评估效果。它识别出六个关键可视化流程——数据处理、展示、洞察传达、风格模仿、交互和感知——并将其映射到机器学习任务，提供了一个结构化的流程，并指出了机器学习辅助可视化领域的未来研究机会。

ABSTRACT

Inspired by the great success of machine learning (ML), researchers have applied ML techniques to visualizations to achieve a better design, development, and evaluation of visualizations. This branch of studies, known as ML4VIS, is gaining increasing research attention in recent years. To successfully adapt ML techniques for visualizations, a structured understanding of the integration of ML4VIS is needed. In this paper, we systematically survey \paperNum ML4VIS studies, aiming to answer two motivating questions: what visualization processes can be assisted by ML? and how ML techniques can be used to solve visualization problems? This survey reveals six main processes where the employment of ML techniques can benefit visualizations: VIS-driven Data Processing, Data Presentation, Insight Communication, Style Imitation, VIS Interaction, VIS Perception. The six processes are related to existing visualization theoretical models in an ML4VIS pipeline, aiming to illuminate the role of ML-assisted visualization in general visualizations. Meanwhile, the six processes are mapped into main learning tasks in ML to align the capabilities of ML with the needs in visualization. Current practices and future opportunities of ML4VIS are discussed in the context of the ML4VIS pipeline and the ML-VIS mapping. While more studies are still needed in the area of ML4VIS, we hope this paper can provide a stepping-stone for future exploration. A web-based interactive browser of this survey is available at this https URL

研究动机与目标

• 为应对日益增长的对系统性理解机器学习如何增强可视化流程的需求。
• 识别并分类可从机器学习技术中受益的具体可视化流程。
• 将可视化任务映射到相应的机器学习任务，以使机器学习能力与可视化需求相匹配。
• 分析当前实践，并突出ML4VIS研究中的未来研究机会。
• 提供一个结构化的ML4VIS流程，作为未来智能可视化系统研究与开发的基础。

提出的方法

• 系统性地调研“\paperNum”篇ML4VIS研究，以识别重复出现的模式和应用。
• 将可视化流程分类为六种类别：VIS驱动的数据处理、数据展示、洞察传达、风格模仿、VIS交互和VIS感知。
• 将这六个可视化流程中的每一个映射到相关的机器学习任务（例如，分类、生成、强化学习等）。
• 构建一个ML4VIS流程，将机器学习技术整合到可视化生命周期的各个环节。
• 分析当前的研究趋势，并识别在数据表示、评估和可视化各阶段应用中的研究空白。
• 提供一个交互式的基于网络的浏览器，用于可视化和探索本综述的发现与映射关系。

实验结果

研究问题

• RQ1 哪些可视化流程可以被机器学习技术有效辅助？
• RQ2 如何系统性地应用机器学习技术来解决特定的可视化问题？
• RQ3 在机器学习中，哪些关键学习任务与核心可视化流程相匹配？
• RQ4 ML4VIS研究领域当前存在哪些局限性以及未来有哪些机会？
• RQ5 如何构建ML4VIS流程，以支持端到端的智能可视化系统？

主要发现

• 六个核心可视化流程——VIS驱动的数据处理、数据展示、洞察传达、风格模仿、VIS交互和VIS感知——均显著受益于机器学习技术。
• 这六个流程中的每一个都映射到不同的机器学习任务，例如，洞察传达对应分类任务，风格模仿对应生成建模。
• ML4VIS流程提供了一个结构化的框架，用于在可视化生命周期中整合机器学习，从而提升设计与评估效果。
• 当前研究在数据展示和洞察传达方面进展显著，但在感知建模和交互学习方面工作较少。
• 本综述指出，ML4VIS领域亟需更多标准化的评估指标和基准数据集，以支持可复现的研究。
• 提供了一个交互式的基于网络的浏览器，以促进对本综述中映射关系和发现的探索，支持未来的研究与工具开发。