[论文解读] HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face

Yongliang Shen, Kaitao Song+4 more|arXiv (Cornell University)|Mar 30, 2023

Topic Modeling被引用 264

一句话总结

HuggingGPT 将 ChatGPT 作为控制器来协同 Hugging Face 模型，通过语言驱动的规划、选择、执行和响应生成管线，实现多模态 AI 任务求解。

ABSTRACT

Solving complicated AI tasks with different domains and modalities is a key step toward artificial general intelligence. While there are numerous AI models available for various domains and modalities, they cannot handle complicated AI tasks autonomously. Considering large language models (LLMs) have exhibited exceptional abilities in language understanding, generation, interaction, and reasoning, we advocate that LLMs could act as a controller to manage existing AI models to solve complicated AI tasks, with language serving as a generic interface to empower this. Based on this philosophy, we present HuggingGPT, an LLM-powered agent that leverages LLMs (e.g., ChatGPT) to connect various AI models in machine learning communities (e.g., Hugging Face) to solve AI tasks. Specifically, we use ChatGPT to conduct task planning when receiving a user request, select models according to their function descriptions available in Hugging Face, execute each subtask with the selected AI model, and summarize the response according to the execution results. By leveraging the strong language capability of ChatGPT and abundant AI models in Hugging Face, HuggingGPT can tackle a wide range of sophisticated AI tasks spanning different modalities and domains and achieve impressive results in language, vision, speech, and other challenging tasks, which paves a new way towards the realization of artificial general intelligence.

研究动机与目标

• 展示一个框架，其中一个大型语言模型（LLM）协调外部专家模型，以跨多模态解决复杂的 AI 任务。
• 展示语言如何作为通用接口，将 LLM 与异构 AI 模型连接起来。
• 提出一个四阶段管线（规划、选择、执行、响应）并在语言、视觉和语音任务上验证其有效性。
• 分析任务规划质量和模型选择如何影响整体任务求解和用户满意度。

提出的方法

• 四阶段管线：任务规划、模型选择、任务执行和响应生成。
• 任务规划使用带有标准化 JSON 任务格式的 LLM 提示和示例来分解用户请求并建立任务依赖。
• 模型选择依赖于使用来自 Hugging Face 的描述进行上下文内分配，并按下载量对候选模型进行排序以选择前 K 名模型。
• 任务执行将任务参数（和动态资源）输入到所选模型，使用 <resource-task_id> 机制处理资源依赖，并在可能的情况下实现并行执行。
• 响应生成将模型输出聚合为对用户可理解的答案，包括工作流的摘要和对结果的置信度。

实验结果

研究问题

• RQ1 LLM 能否有效地规划并将用户请求分解为带依赖的结构化子任务？
• RQ2 LLM 使用来自公开模型中心（Hugging Face）的描述来选择合适的外部模型的效果如何？
• RQ3 端到端的 HuggingGPT 管道在语言、视觉、语音以及跨模态任务上的性能和行为如何？
• RQ4 演示示例和提示设计如何影响任务规划和模型选择的质量？

主要发现

• HuggingGPT 能自动规划任务、分配专家模型、执行子任务，并在多模态上生成最终对用户可见的响应。
• 基于 Hugging Face 描述的模型选择实现了在不改变核心提示的情况下对多样模型的灵活集成。
• 任务规划质量与 LLM 能力相关；在评估的开源 LLM 中，GPT-3.5 在规划方面表现较强，GPT-4 在图形任务上通常表现更好，但人工标注显示仍存在差距。
• 人工评估表明，在规划和模型选择阶段，GPT-3.5 的表现优于 Alpaca-13b 和 Vicuna-13b，而 GPT-4 展现出更强的性能，但相对于人类判断仍有提升空间。
• 消融研究表明，演示示例及其多样性对规划性能的影响较小，超过少量示例后收益递减。