[论文解读] Evaluating the Decency and Consistency of Data Validation Tests Generated by LLMs

Rohan Alexander, Lindsay Katz+3 more|arXiv (Cornell University)|Oct 2, 2023

Scientific Computing and Data Management被引用 4

一句话总结

本研究评估了GPT-3.5和GPT-4在不同提示、角色设定、少样本学习及温度设置下生成的数据验证测试的质量。研究发现，少样本提示显著提升了测试的合理性和一致性，且GPT-4与GPT-3.5表现相近，表明大型语言模型可有效协助生成数据科学工作流中的初始数据验证套件。

ABSTRACT

We investigated whether large language models (LLMs) can develop data validation tests. We considered 96 conditions each for both GPT-3.5 and GPT-4, examining different prompt scenarios, learning modes, temperature settings, and roles. The prompt scenarios were: 1) Asking for expectations, 2) Asking for expectations with a given context, 3) Asking for expectations after requesting a data simulation, and 4) Asking for expectations with a provided data sample. The learning modes were: 1) zero-shot, 2) one-shot, and 3) few-shot learning. We also tested four temperature settings: 0, 0.4, 0.6, and 1. And the two distinct roles were: 1) helpful assistant, 2) expert data scientist. To gauge consistency, every setup was tested five times. The LLM-generated responses were benchmarked against a gold standard data validation suite, created by an experienced data scientist knowledgeable about the data in question. We find there are considerable returns to the use of few-shot learning, and that the more explicit the data setting can be the better, to a point. The best LLM configurations complement, rather than substitute, the gold standard results. This study underscores the value LLMs can bring to the data cleaning and preparation stages of the data science workflow, but highlights that they need considerable evaluation by experienced analysts.

研究动机与目标

• 评估使用大型语言模型（LLMs）为真实世界数据科学工作流生成数据集验证测试的可行性。
• 研究提示设计、学习模式、温度设置及角色定义对LLM生成的验证测试质量的影响。
• 将LLM输出与由专业数据科学家手工构建的黄金标准测试套件进行基准对比。
• 探索LLM是否能减少构建初始数据验证管道所需的时间与精力。
• 评估LLM生成的测试在多种实验配置下的稳定性和合理性。

提出的方法

• 对每种LLM（GPT-3.5和GPT-4）执行96次实验，变量包括提示场景、学习模式（零样本、单样本、少样本）、温度设置（0、0.4、0.6、1）以及角色设定（助手、专家数据科学家）。
• 由人工编码者对每次LLM输出的合理性（1–5分）和一致性（1–5分）进行评分，每种配置重复五次以评估稳定性。
• 将LLM生成的测试与由经验丰富的数据科学家手工构建的黄金标准测试套件进行基准对比。
• 使用rstanarm的有序回归模型分析提示设计与配置对合理性及一致性评分的影响。
• 专注于使用Great Expectations框架生成测试，确保与常见数据验证工作流兼容。
• 收集并分析了多种提示变体（包括上下文描述和数据样本）的响应，以评估其对输出质量的影响。

(a) Decency

实验结果

研究问题

• RQ1 不同提示场景（如请求生成期望、提供上下文或包含数据样本）如何影响LLM生成的数据验证测试的合理性和一致性？
• RQ2 与零样本或单样本设置相比，少样本学习在多大程度上提升了LLM生成的数据验证测试质量？
• RQ3 温度设置在多大程度上影响LLM生成测试输出的一致性？是否也影响合理性？
• RQ4 分配给LLM的角色（如“助手”与“专家数据科学家”）是否显著影响生成测试的质量？
• RQ5 在相同实验条件下，GPT-3.5与GPT-4在生成高质量、一致且合理的数据验证测试方面表现如何比较？

主要发现

• 与零样本或单样本设置相比，少样本学习显著提升了LLM生成的数据验证测试的合理性和一致性。
• 提供关于预期数据集结构的详细描述，比包含样本数据实例更能提升测试质量。
• 温度设置与一致性密切相关，但与合理性无关；较低温度（如0）可产生更稳定的输出。
• GPT-4与GPT-3.5在生成高质量验证测试方面表现相当，整体合理性与一致性评分无显著差异。
• 表现最佳的LLM配置生成的测试能够补充而非替代黄金标准，表明其在初始测试套件生成中具有重要价值。
• 本研究证明，LLM可有效辅助自动化初始数据验证规则的创建，从而减少数据准备流程中的手动工作量。

(b) Consistency