[论文解读] Data Analysis in the Era of Generative AI

Jeevana Priya Inala, Chenglong Wang+7 more|arXiv (Cornell University)|Sep 27, 2024

Evolutionary Algorithms and Applications被引用 4

一句话总结

本文探讨了生成式AI如何通过自然语言和多模态交互，使非专家用户能够实现数据洞察，降低对编程和专业工具的依赖。该研究提出AI辅助工作流，将高层次用户意图转化为可执行代码、可视化结果和洞察，同时强调以人为本的设计，以提升信任度、可用性及跨工具协作能力。

ABSTRACT

This paper explores the potential of AI-powered tools to reshape data analysis, focusing on design considerations and challenges. We explore how the emergence of large language and multimodal models offers new opportunities to enhance various stages of data analysis workflow by translating high-level user intentions into executable code, charts, and insights. We then examine human-centered design principles that facilitate intuitive interactions, build user trust, and streamline the AI-assisted analysis workflow across multiple apps. Finally, we discuss the research challenges that impede the development of these AI-based systems such as enhancing model capabilities, evaluating and benchmarking, and understanding end-user needs.

研究动机与目标

• 探究生成式AI如何通过将自然语言查询转化为可操作洞察，降低非专家用户在数据分析中的门槛。
• 识别可增强用户信任、简化多工具工作流并支持迭代式、探索性数据分析的设计原则。
• 填补用户在AI交互模式、自主程度及个性化方面偏好的理解空白，特别是在AI辅助数据分析中的应用。
• 强调模型鲁棒性、评估基准和高质量、可访问数据表基础设施方面的关键研究挑战。
• 倡导开展全面的用户研究，以指导针对多样化用户专业水平和不断演变的分析需求而定制的AI工具开发。

提出的方法

• 利用大型语言模型和多模态模型（如GPT-4、GPT-4o、Phi-3）解析自然语言和视觉输入，生成可执行代码、图表和洞察。
• 设计交互式、多模态界面，结合自然语言、可视化控件和代码，支持迭代式、用户参与式分析工作流。
• 在多个应用（如数据清洗、可视化、报告生成）中集成AI辅助功能，减少工具切换，保持上下文连贯性。
• 应用以人为本的设计原则，优化用户交互，包括模态选择（GUI + 自然语言）、AI自主程度及反馈机制。
• 提出将多步骤、多模态数据分析场景作为基准，以推动模型规划、推理和鲁棒性的改进。
• 构建用于从网络和企业源中索引、排序和检索高质量数据表的基础设施，以支持AI驱动的分析建议。

Figure 1: Overview of steps involved in deriving insights from data, highlighting the diverse skills required for these steps. We explicitly exclude any steps related to building/using models in this paper.

实验结果

研究问题

• RQ1 生成式AI系统如何有效将高层次用户意图转化为可执行的数据分析步骤，包括代码和可视化？
• RQ2 何种交互模态（如GUI + 自然语言 vs. 基于聊天）最能支持用户对AI辅助数据分析的理解、控制与信任？
• RQ3 AI工具如何在不增加认知负荷的前提下，适应用户的专业水平和不断变化的分析目标？
• RQ4 哪些设计模式和界面组件（如AI生成的控件）最能支持用户在多个应用中对AI输出的控制与验证？
• RQ5 如何增强数据基础设施，以提供可靠、实时且符合隐私合规要求的数据表，支持AI驱动的分析建议？

主要发现

• 用户更偏好结合GUI与自然语言的混合交互模式，而非纯基于聊天的助手，因为前者能更好地表达意图并施加约束。
• AI生成的交互式控件（如用于筛选或参数调整的控件）比直接执行AI输出更有效，因为它们允许用户控制并降低认知负荷。
• 用户对AI建议的反应因统计专业水平而异：部分用户认为其有帮助，而另一些用户则认为过于基础或难以理解。
• 用户需要程序性成果（如代码、解释）和数据性成果（如中间表、可视化）来验证和理解AI生成的分析步骤。
• 用户重视对LLM所接收上下文的透明度与控制权，更倾向于使用类似“代码检查器”的助手，以标记不当或错误的AI使用行为。
• 目前仍迫切需要动态的、跨多应用的AI协调机制，以及能根据用户历史自适应调整的个性化UI，且避免频繁、破坏性的界面变更。

Figure 2: User experience for providing inputs and output formats with ChatGPT vs Data Formulator ( Wang et al. , 2023a )