[论文解读] Survey on Artificial Intelligence Approaches for Visualization Data.

Aoyu Wu, Yun Wang+6 more|arXiv (Cornell University)|Feb 2, 2021

Data Visualization and Analytics参考文献 114被引用 16

一句话总结

本综述将可视化形式化为一种第一等数据格式，并回顾了信息可视化与可视分析中应用于可视化数据的人工智能技术。它提出了一种分类法，围绕可视化数据的'WHAT'（是什么）、'WHY'（为何）和'HOW'（如何）组织研究，识别出核心任务与人工智能方法，为未来数据驱动的可视化研究奠定了基础。

ABSTRACT

Visualizations themselves have become a data format. Akin to other data formats such as text and images, visualizations are increasingly created, stored, shared, and (re-)used with artificial intelligence (AI) techniques. In this survey, we probe the underlying vision of formalizing visualizations as an emerging data format and review the recent advance in applying AI techniques to visualization data. We define visualization data as the digital representations of visualizations in computers and focus on visualizations in information visualization and visual analytic. We build our survey upon a corpus spanning ten different fields in computer science with an eye toward identifying important common interests. Our resulting taxonomy is organized around WHAT is visualization data and its representation, WHY and HOW to apply AI to visualization data. We highlight a set of common tasks that researchers apply to the visualization data and present a detailed discussion of AI approaches developed to accomplish those tasks. Drawing upon our literature review, we discuss several important research questions surrounding the management and exploitation of visualization data, as well as the role of AI in support of those processes. We make the list of surveyed papers and related material available online at this http URL.

研究动机与目标

• 将可视化数据确立为与文本和图像相当的正式数据格式。
• 识别人工智能与可视化数据相关联的十个计算机科学领域中的共同研究兴趣。
• 构建一种分类法，围绕可视化数据的'WHAT'（是什么）、'WHY'（为何）和'HOW'（如何）组织人工智能应用。
• 突出可视化数据处理中的重复性任务及用于解决这些任务的人工智能技术。
• 提出关于在人工智能支持下管理与利用可视化数据的开放研究问题。

提出的方法

• 在十个计算机科学领域中开展系统性文献综述，以识别人工智能与可视化数据研究的关键趋势。
• 将可视化数据定义为计算系统中可视化数字表示的集合。
• 基于三大支柱构建分类法：表示（WHAT）、动机（WHY）和应用（HOW）。
• 根据人工智能技术在常见可视化数据任务（如生成、分析和检索）中的应用进行分类。
• 识别出用于可视化理解的重复性人工智能方法，包括深度学习、自然语言处理和基于图的模型。
• 建立在线论文与相关资料库，以支持可复现性与进一步研究。

实验结果

研究问题

• RQ1 人工智能系统中如何将可视化正式视为一种第一等数据格式？
• RQ2 人工智能技术在可视化数据处理中应用的核心任务有哪些？
• RQ3 在不同领域中，用于解决可视化数据任务的常见人工智能方法有哪些？
• RQ4 在人工智能支持下管理与利用可视化数据的关键挑战和开放研究问题是什么？
• RQ5 不同计算机科学领域如何共同推动人工智能在可视化数据中的发展？

主要发现

• 可视化数据正越来越多地被视为一种结构化、机器可处理的格式，可与文本和图像相提并论。
• 已构建统一的分类法，用于围绕可视化数据的表示、动机与方法组织人工智能应用。
• 常见的人工智能任务包括可视化生成、语义理解与检索，每项任务均有专门的技术支持。
• 深度学习与自然语言处理是解释与生成可视化数据的突出方法。
• 本综述识别出在推动人工智能用于可视化数据方面，计算机科学各领域之间存在显著的跨学科重叠。
• 已公开发布所调研论文及相关资料的在线资源库，以支持可复现性与未来研究。