[论文解读] Conversational AI Threads for Visualizing Multidimensional Datasets

Matt-Heun Hong, Anamaria Crisan|arXiv (Cornell University)|Nov 9, 2023

AI in Service Interactions被引用 4

一句话总结

本文提出了 AI Threads，一种多线程对话式人工智能系统，通过支持用户同时管理多个分析对话，提升了视觉数据的分析效率。该系统利用大型语言模型（LLMs）实现动态、上下文感知的可视化优化，在复杂分析对话中展现出更高的可用性与连贯性，尽管仍存在幻觉和上下文漂移等挑战。

ABSTRACT

Generative Large Language Models (LLMs) show potential in data analysis, yet their full capabilities remain uncharted. Our work explores the capabilities of LLMs for creating and refining visualizations via conversational interfaces. We used an LLM to conduct a re-analysis of a prior Wizard-of-Oz study examining the use of chatbots for conducting visual analysis. We surfaced the strengths and weaknesses of LLM-driven analytic chatbots, finding that they fell short in supporting progressive visualization refinements. From these findings, we developed AI Threads, a multi-threaded analytic chatbot that enables analysts to proactively manage conversational context and improve the efficacy of its outputs. We evaluate its usability through a crowdsourced study (n=40) and in-depth interviews with expert analysts (n=10). We further demonstrate the capabilities of AI Threads on a dataset outside the LLM's training corpus. Our findings show the potential of LLMs while also surfacing challenges and fruitful avenues for future research.

研究动机与目标

• 探究 LLM 在视觉数据分析过程中处理对话上下文转移的方式。
• 解决单线程聊天机器人在管理渐进式可视化优化方面的局限性。
• 设计并评估一种多线程对话界面，以提升上下文管理能力与分析连贯性。
• 评估 LLM 驱动的聊天机器人在真实世界数据分析任务中的可用性与可靠性。
• 识别 AI 驱动的可视化分析工具的关键挑战与未来发展方向。

提出的方法

• 重新分析了一项先前的 Wizard-of-Oz 研究，以提取对话上下文转移情况，并为 LLM 行为评估提供真实标签。
• 设计 AI Threads 为多线程聊天机器人界面，用户可为不同分析任务创建独立线程。
• 集成 LLM 作为 AI 代理，根据自然语言查询生成文本回复与可视化代码。
• 实现线程特定的上下文管理机制，使用户能够隔离并优化分析的不同方面。
• 结合众包研究（n=40）与专家访谈（n=10）评估可用性、准确性与用户感知。
• 在泰坦尼克号数据集（位于 LLM 训练数据分布内）与新数据集（位于训练数据分布外）上评估系统泛化能力。

Figure 1. Excerpts of participants’ analytic conversations with AI Threads. We show participant conversations in threads modifying the visual encoding (E03, E04, P40), as well as for sequential (E07) and individual (P32) utterances. Excerpts were derived from participants in crowd-sourced (P#) and i

实验结果

研究问题

• RQ1 LLM 在视觉数据分析中渐进式可视化优化过程中，维持对话上下文的能力如何？
• RQ2 单线程 LLM 聊天机器人在支持复杂分析对话方面的优势与局限性是什么？
• RQ3 多线程对话管理在多大程度上能提升 AI 驱动的可视化分析工具的可用性与准确性？
• RQ4 用户如何感知并交互于一种支持文本与可视化生成的 LLM 驱动聊天机器人？
• RQ5 在使用 LLM 进行数据分析时，会浮现哪些挑战——尤其是幻觉与上下文漂移问题，以及如何缓解？

主要发现

• AI Threads 展现出通过自然语言生成与优化可视化的能力，支持诸如属性增删与编码类型变更等操作。
• 众包研究参与者（n=40）对 AI Threads 持积极评价，认为其在可视化分析任务中具有高可用性与感知有用性。
• 专家分析师（n=10）确认 AI Threads 支持更丰富、更灵活的分析对话，但强调需加强对对话流程与溯源的控制。
• 尽管整体准确率尚可，系统仍表现出非显见的错误，如错误的数据修改（例如 P40）与误导性解释（例如 P35），表明幻觉风险依然存在。
• 在泰坦尼克号数据集上表现良好（位于训练数据分布内），但向分布外数据集的泛化能力仍是挑战。
• 多线程设计显著优于单线程方案，在上下文管理方面表现更优，使用户能更有效地组织复杂分析。

Figure 2. Comparison for visualization produced between the WoZ study and different systems. Progressive utterances for modifying an initial visual encoding (top row) by different systems. Black boxes around the visualization indicate the creation of a new visualization—a failure to apply a progress