[论文解读] DataTales: Investigating the use of Large Language Models for Authoring Data-Driven Articles

Nicole Sultanum, Arjun Srinivasan|arXiv (Cornell University)|Aug 8, 2023

Scientific Computing and Data Management被引用 4

一句话总结

本文介绍了DataTales，一个原型系统，该系统利用大型语言模型（LLMs）通过将文本故事与交互式可视化图表关联，生成数据驱动文章的叙事内容。通过对11名数据专业人士进行的定性研究，作者识别出若干关键功能优势，如基于图表的提示、注释指导和故事摘要，同时指出了诸如幻觉、偏见以及需要外部验证等挑战，为集成LLM的数据叙事工具提供了设计洞见。

ABSTRACT

Authoring data-driven articles is a complex process requiring authors to not only analyze data for insights but also craft a cohesive narrative that effectively communicates the insights. Text generation capabilities of contemporary large language models (LLMs) present an opportunity to assist the authoring of data-driven articles and expedite the writing process. In this work, we investigate the feasibility and perceived value of leveraging LLMs to support authors of data-driven articles. We designed a prototype system, DataTales, that leverages a LLM to generate textual narratives accompanying a given chart. Using DataTales as a design probe, we conducted a qualitative study with 11 professionals to evaluate the concept, from which we distilled affordances and opportunities to further integrate LLMs as valuable data-driven article authoring assistants.

研究动机与目标

• 调查使用大型语言模型（LLMs）辅助撰写数据驱动文章的可行性及其感知价值。
• 探索图表交互是否可作为直接提示的更直观替代方式，以向LLMs传达叙事意图。
• 识别在数据叙事工作流中将LLM作为协作写作助手集成时的设计优势与挑战。
• 理解通过用户注释、摘要和外部验证机制，如何改进LLM生成的叙事内容。
• 解决LLM辅助内容生成中的伦理与可靠性问题，如幻觉、确认偏误以及数据素养差距。

提出的方法

• 作者开发了DataTales，一个基于Web的原型系统，将GPT-3.5-turbo LLM与D3.js渲染的图表及基于React的UI组件相集成。
• 该系统允许用户基于图表和可选注释生成叙事文本，通过实时交互将文本与可视化元素关联。
• 用户可编辑生成的文本、重新生成故事，或在多个故事变体中进行选择，从而实现对叙事内容的迭代优化。
• 系统支持用户注释，以引导关注点和上下文，例如通过高亮数据点或绘制趋势线来表明其重要性。
• 通过将DataTales作为设计探针，对11名数据专业人士开展了定性研究，以收集其在可用性、实用性及局限性方面的反馈。
• 研究结果被整合为13条核心发现（T1–T13），涵盖摘要功能、外部数据推荐以及通过引用和反馈回路实现的错误缓解等特性。

Figure 1: \datatales workflow overview. Given a chart and an optional set of annotations, the system generates textual narratives that are interactively linked to the chart and can be further edited by authors.

实验结果

研究问题

• RQ1 如何有效利用LLM来支持撰写与用户叙事意图一致的数据驱动文章？
• RQ2 在专业环境中，使用LLM生成与数据可视化关联的叙事内容，其感知优势与挑战是什么？
• RQ3 图表交互与用户注释如何影响LLM生成故事的质量与相关性？
• RQ4 需要哪些设计功能来缓解LLM生成内容中可能存在的幻觉、偏见和错误信息风险？
• RQ5 如何将LLM与现有的数据素养和事实核查实践相结合，以支持负责任的内容创作？

主要发现

• 参与者认为LLM辅助的数据叙事概念具有价值，尤其是在使用图表交互和注释来引导叙事生成时。
• 该系统在构思生成和草稿撰写方面被认为具有帮助，尤其在减轻早期阶段叙事构思的认知负荷方面。
• 许多参与者表示生成的故事通常过于冗长，导致阅读和审查困难，因此呼吁提供简洁的项目符号摘要。
• 观察到大量幻觉和事实性错误，包括错误推理和标签错误，凸显了外部验证和来源引用的必要性。
• 参与者强调区分基于数据的陈述与LLM虚构内容的重要性，建议通过颜色编码等视觉提示标明内容来源。
• 用户对推荐外部数据集、对比分析和后续问题等功能表现出浓厚兴趣，认为这些功能有助于拓展探索性分析并支持更深层次的洞察发现。

Figure 2: Example of an incorrect statement generated by the LLM (contrary to the text, the chart shows that Florida does not have a higher number of people over the age of 80 compared to California). The text $\rightarrow$ chart linking feature helps verify the statement and identify the erroneous