[论文解读] Is GPT-4 a Good Data Analyst?

Liying Cheng, Xingxuan Li+1 more|arXiv (Cornell University)|May 24, 2023

Machine Learning and Data Classification被引用 5

一句话总结

本文研究了 GPT-4 是否能够作为称职的数据分析师，通过评估其在涉及数据库查询、数据可视化和洞察生成的真实世界数据分析任务中的端到端表现。使用自定义框架和人工评估，GPT-4 的表现与高级人类数据分析师相当，优于初级和实习生级别的分析师，尽管在全面替代之前，幻觉现象和假设严谨性仍是需要关注的问题。

ABSTRACT

As large language models (LLMs) have demonstrated their powerful capabilities in plenty of domains and tasks, including context understanding, code generation, language generation, data storytelling, etc., many data analysts may raise concerns if their jobs will be replaced by artificial intelligence (AI). This controversial topic has drawn great attention in public. However, we are still at a stage of divergent opinions without any definitive conclusion. Motivated by this, we raise the research question of "is GPT-4 a good data analyst?" in this work and aim to answer it by conducting head-to-head comparative studies. In detail, we regard GPT-4 as a data analyst to perform end-to-end data analysis with databases from a wide range of domains. We propose a framework to tackle the problems by carefully designing the prompts for GPT-4 to conduct experiments. We also design several task-specific evaluation metrics to systematically compare the performance between several professional human data analysts and GPT-4. Experimental results show that GPT-4 can achieve comparable performance to humans. We also provide in-depth discussions about our results to shed light on further studies before reaching the conclusion that GPT-4 can replace data analysts.

研究动机与目标

• 研究 GPT-4 是否能够在真实世界端到端数据分析任务中胜任数据分析师角色。
• 通过任务特定指标，将 GPT-4 的表现与不同经验水平的人类数据分析师（初级、实习生、高级）进行比较。
• 设计并验证一种框架，用于引导 GPT-4 以结构化、自动化的方式执行数据提取、可视化和分析洞察生成。
• 通过对比成本、时间和可靠性，评估 GPT-4 作为数据分析师的实际可行性。
• 识别 GPT-4 在数据分析中的局限性，如幻觉和假设过度自信问题，并为未来研究提供指导，以判断其是否具备完全替代人类分析师的潜力。

提出的方法

• 提出一种自定义框架，引导 GPT-4 完成端到端数据分析：输入包含业务问题和数据库模式，可选地通过 Google 进行外部知识检索。
• 系统引导 GPT-4 识别相关表、生成 SQL 查询、提取数据、生成可视化（如图表），并输出分析洞察。
• 评估包括自动指标（如数据正确性和可视化质量）以及由专业数据分析师进行的人工评估，以判断洞察的相关性和深度。
• 使用 NvBench 数据集的改进版本，扩展了数据分析任务，以创建基于大语言模型的数据分析基准。
• 可选模块集成在线信息检索，以增强对需要特定领域背景知识的问题的上下文感知能力。
• 通过定量和定性指标，将 GPT-4、初级、实习生和高级人类数据分析师的表现进行对比。

实验结果

研究问题

• RQ1 GPT-4 是否能够在真实数据库上完成端到端数据分析任务——包括数据提取、可视化和洞察生成，并达到与人类分析师相当的性能？
• RQ2 在准确性、洞察质量和完整性方面，GPT-4 的表现与不同经验水平的数据分析师（初级、实习生、高级）相比如何？
• RQ3 外部知识检索在多大程度上提升了 GPT-4 生成上下文准确且具有洞察力分析的能力？
• RQ4 GPT-4 在数据分析中的主要局限性是什么，特别是关于幻觉和假设验证问题，这些因素为何阻碍其完全替代人类分析师？
• RQ5 在真实场景中，GPT-4 的成本和时间效率与雇佣人类数据分析师相比如何？

主要发现

• 根据人工评估者的判断，GPT-4 在任务表现和洞察质量方面均优于实习生和初级水平的人类数据分析师。
• 在一般性和实际的数据分析问题上，GPT-4 的表现与高级人类数据分析师相当，尤其在洞察构建和数据解读方面表现突出。
• GPT-4 在成本和时间方面具有显著优势，能够更快、更低成本地完成端到端任务。
• 尽管表现强劲，GPT-4 仍存在幻觉问题，包括错误的数据解读和虚构的洞察，这是其关键限制之一。
• GPT-4 常常在缺乏充分验证的情况下做出未经支持的假设或提出推测性结论，表明在全面部署前仍需提升推理的严谨性。
• 通过在线检索集成外部知识，在某些情况下提升了 GPT-4 的上下文感知能力和分析深度，但该功能未在所有任务中系统性评估。