[论文解读] ChatGPT as your Personal Data Scientist

Md. Mahadi Hassan, Alex Knipper+1 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用 6

一句话总结

本文提出了VIDS，一种基于ChatGPT的对话式框架，通过自然语言引导非专家完成端到端的机器学习工作流程，使其充当个人数据科学家。该框架将交互过程划分为四个对话状态——数据可视化、任务定义、预测工程和结果总结——并利用专门的大型语言模型（LLM）微代理自动完成模型选择、超参数调优和结果解释。该研究展示了LLM在普及数据科学方面的可行性，同时也揭示了当前LLM在推理能力和幻觉生成方面的关键局限性。

ABSTRACT

The rise of big data has amplified the need for efficient, user-friendly automated machine learning (AutoML) tools. However, the intricacy of understanding domain-specific data and defining prediction tasks necessitates human intervention making the process time-consuming while preventing full automation. Instead, envision an intelligent agent capable of assisting users in conducting AutoML tasks through intuitive, natural conversations without requiring in-depth knowledge of the underlying machine learning (ML) processes. This agent's key challenge is to accurately comprehend the user's prediction goals and, consequently, formulate precise ML tasks, adjust data sets and model parameters accordingly, and articulate results effectively. In this paper, we take a pioneering step towards this ambitious goal by introducing a ChatGPT-based conversational data-science framework to act as a "personal data scientist". Precisely, we utilize Large Language Models (ChatGPT) to build a natural interface between the users and the ML models (Scikit-Learn), which in turn, allows us to approach this ambitious problem with a realistic solution. Our model pivots around four dialogue states: Data Visualization, Task Formulation, Prediction Engineering, and Result Summary and Recommendation. Each state marks a unique conversation phase, impacting the overall user-system interaction. Multiple LLM instances, serving as "micro-agents", ensure a cohesive conversation flow, granting us granular control over the conversation's progression. In summary, we developed an end-to-end system that not only proves the viability of the novel concept of conversational data science but also underscores the potency of LLMs in solving complex tasks. Interestingly, its development spotlighted several critical weaknesses in the current LLMs (ChatGPT) and highlighted substantial opportunities for improvement.

研究动机与目标

• 通过对话式人工智能自动化机器学习流程，减少领域专家与数据科学家之间的沟通瓶颈。
• 使非专家能够在不了解机器学习或AutoML流程的前提下定义并执行机器学习任务。
• 开发一种可扩展的端到端对话系统，利用LLM将自然语言转化为结构化的机器学习工作流。
• 评估使用类似ChatGPT的大型语言模型作为智能代理在数据科学工作流中的可行性与局限性。

提出的方法

• 该系统围绕四个核心对话状态构建：数据可视化、任务定义、预测工程和结果总结与建议。
• 每个对话状态由专用的LLM微代理管理，全局微代理负责维护跨状态的上下文和对话流程。
• 该框架将GPT-3.5-turbo与Scikit-Learn集成，以执行机器学习任务，将自然语言转化为代码和模型参数。
• 意图识别与状态检测微代理采用少样本提示法并采用受限输出格式，以提高识别用户目标和对话进展的准确性。
• 对话总结微代理通过少样本示例引导生成简洁的交互摘要，以控制总结风格。
• 系统通过迭代式提示工程和特定状态的约束，减轻幻觉现象，提升任务定义与结果解释的可靠性。

实验结果

研究问题

• RQ1 大型语言模型（如ChatGPT）能否有效理解自然语言中的用户意图，并将其映射为明确定义的机器学习任务？
• RQ2 多状态对话框架如何在复杂、多轮的数据科学对话中保持连贯性与上下文一致性？
• RQ3 LLM-based微代理在无需人工干预的情况下，能在多大程度上自动化模型选择、超参数调优和结果解释？
• RQ4 当应用于结构化、技术性强的数据科学工作流时，当前LLM的关键失败模式是什么？

主要发现

• VIDS框架通过自然语言交互成功实现了端到端机器学习流程的自动化，证明了LLM作为个人数据科学助手的可行性。
• 当提示词通过明确的下一状态选项进行约束时，系统在意图识别与状态检测方面表现出高准确性，将误分类率从30%降低至10%以下。
• 对话总结微代理在提供少样本示例时频繁产生幻觉内容，表明LLM在区分输入上下文与任务指令方面存在关键局限性。
• 尽管通过提示工程有所改进，模型在复杂或模糊的用户语句中仍持续无法正确识别任务状态，尤其是在意图隐含而非明确表达时。
• 该框架揭示了当前LLM在技术推理与上下文保持方面缺乏鲁棒性，尤其在涉及多步骤、结构化对话的数据科学工作流中表现明显。
• 研究表明，尽管LLM能显著减轻数据科学家的工作负担，但其仍易产生幻觉和误分类，亟需进一步研究可靠且受约束的LLM代理。