[论文解读] Digital Collaborator: Augmenting Task Abstraction in Visualization Design with Artificial Intelligence

Aditeya Pandey, Yixuan Zhang+3 more|arXiv (Cornell University)|Mar 2, 2020

Data Visualization and Analytics被引用 4

一句话总结

本文提出了一种概念性的AI驱动数字协作伙伴（Digital Collaborator, DC），以协助可视化研究者自动化并验证任务抽象——即将特定领域的目标转化为通用的、基于理论的可视化任务。通过自然语言处理与任务抽象框架，DC提供基于理由的推荐，以减少人为偏见并提高设计研究中的一致性。

ABSTRACT

In the task abstraction phase of the visualization design process, including in "design studies", a practitioner maps the observed domain goals to generalizable abstract tasks using visualization theory in order to better understand and address the users needs. We argue that this manual task abstraction process is prone to errors due to designer biases and a lack of domain background and knowledge. Under these circumstances, a collaborator can help validate and provide sanity checks to visualization practitioners during this important task abstraction stage. However, having a human collaborator is not always feasible and may be subject to the same biases and pitfalls. In this paper, we first describe the challenges associated with task abstraction. We then propose a conceptual Digital Collaborator: an artificial intelligence system that aims to help visualization practitioners by augmenting their ability to validate and reason about the output of task abstraction. We also discuss several practical design challenges of designing and implementing such systems

研究动机与目标

• 解决可视化设计中主观且易出错的人工任务抽象挑战，该过程易受设计者偏见与知识空白的影响。
• 克服人类协作者的局限性，后者可能缺乏最新知识或同样受制于认知偏见。
• 开发一种AI驱动的系统，支持可视化从业者选择合适的任务抽象框架并验证其抽象结果。
• 通过可解释的输出与置信度评分，提升AI推荐的透明度与可信度。
• 探讨AI辅助任务抽象中的公平性问题，确保涵盖多样化领域经验与视角。

提出的方法

• 设计一种问答界面，模仿智能个人助理（IPAs）的交互模式，使从业者能够输入来自访谈或观察的领域特定目标。
• 利用自然语言处理（NLP）技术，基于既有的任务抽象框架（如多层级类型学、图任务分类法、分层任务抽象HTA）将输入的领域目标映射为通用的任务描述。
• 实现框架表征模块，根据输入上下文、数据类型与任务特征，选择最合适的抽象框架。
• 生成多种替代性抽象并附带理由，以提升透明度并支持用户验证。
• 集成置信度评分与人机协同机制，以应对分歧并增强对AI推荐的信任。
• 利用网络爬虫工具从现有文献中提取训练数据，并辅以人工监督以确保数据质量并解决冲突的抽象。

实验结果

研究问题

• RQ1 AI系统如何有效推荐最适合给定领域目标的任务抽象框架？
• RQ2 哪些机制可提升AI生成任务抽象的透明度与用户信任？
• RQ3 AI系统如何在保持与可视化理论一致的同时，减轻任务抽象中的偏见？
• RQ4 人机协同验证在优化与改进AI生成的抽象中扮演何种角色？
• RQ5 如何在AI驱动的任务抽象中嵌入公平性与包容性，以反映多样化领域经验与设计需求？

主要发现

• 所提出的数字协作伙伴能够利用既有的抽象框架，将特定领域的目标映射为通用的可视化任务，减少对人工、易出错流程的依赖。
• 提供多种替代抽象并附带理由，可增强透明度并支持用户验证，帮助从业者评估AI建议的合理性。
• 对推荐结果提供置信度评分，可提升用户信任度，并降低对AI生成结果的拒绝率。
• 可通过智能网络爬虫从研究文献中收集训练数据，但需注意数据质量问题（如冲突的抽象），需人工监督。
• AI中的公平性问题（如偏见数据集与代表性不足）必须主动应对，以确保系统能支持多样化的设计需求与视角。
• 该系统并非取代以用户为中心的设计实践，而是通过提供基于最新理论的、有依据的推荐，增强任务抽象阶段的支持。