[논문 리뷰] HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face

Yongliang Shen, Kaitao Song외 4명|arXiv (Cornell University)|2023. 03. 30.

Topic Modeling인용 수 264

한 줄 요약

HuggingGPT는 ChatGPT를 컨트롤러로 사용하여 Hugging Face 모델을 오케스트레이션하고, 언어 기반 계획, 선택, 실행 및 응답 생성 파이프라인을 통해 다중 모달 AI 작업 해결을 가능하게 한다.

ABSTRACT

Solving complicated AI tasks with different domains and modalities is a key step toward artificial general intelligence. While there are numerous AI models available for various domains and modalities, they cannot handle complicated AI tasks autonomously. Considering large language models (LLMs) have exhibited exceptional abilities in language understanding, generation, interaction, and reasoning, we advocate that LLMs could act as a controller to manage existing AI models to solve complicated AI tasks, with language serving as a generic interface to empower this. Based on this philosophy, we present HuggingGPT, an LLM-powered agent that leverages LLMs (e.g., ChatGPT) to connect various AI models in machine learning communities (e.g., Hugging Face) to solve AI tasks. Specifically, we use ChatGPT to conduct task planning when receiving a user request, select models according to their function descriptions available in Hugging Face, execute each subtask with the selected AI model, and summarize the response according to the execution results. By leveraging the strong language capability of ChatGPT and abundant AI models in Hugging Face, HuggingGPT can tackle a wide range of sophisticated AI tasks spanning different modalities and domains and achieve impressive results in language, vision, speech, and other challenging tasks, which paves a new way towards the realization of artificial general intelligence.

연구 동기 및 목표

• 다중 모달에 걸친 복잡한 AI 작업을 해결하기 위해 LLM이 외부 전문가 모델들을 조정하는 프레임워크를 시연하는 프레임워크를 시연한다.
• 언어가 서로 다른 AI 모델들과 LLM들을 연결하는 보편적 인터페이스로 기능할 수 있음을 보인다.
• 네 단계 파이프라인(계획, 선택, 실행, 응답)을 제안하고 언어, 비전, 음성 작업에서 그 유효성을 검증한다.
• 작업 계획의 품질과 모델 선택이 전반적인 작업 해결과 사용자 만족도에 어떤 영향을 미치는지 분석한다.

제안 방법

• 네 단계 파이프라인: 작업 계획, 모델 선택, 작업 실행, 응답 생성.
• 작업 계획은 표준화된 JSON 작업 형식과 시연을 사용한 LLM 프롬프트를 통해 사용자 요청을 분해하고 작업 의존성을 설정한다.
• 모델 선택은 Hugging Face의 설명을 사용한 맥락 내 할당에 의존하고 다운로드 수로 후보를 순위화하여 상위-K 모델을 선택한다.
• 작업 실행은 선택된 모델에 작업 인자(및 동적 리소스)를 제공하고 <resource-task_id> 메커니즘으로 리소스 의존성을 처리하며 가능할 때 병렬 실행을 가능하게 한다.
• 응답 생성은 모델 출력을 일관된 사용자용 답변으로 통합하고 작업 흐름의 요약과 결과에 대한 신뢰도를 포함한다.

실험 결과

연구 질문

• RQ1 LLM이 사용자의 요청을 의존성을 가진 구조화된 하위 작업 세트로 효과적으로 계획하고 해체할 수 있는가?
• RQ2 공개 모델 허브(Hugging Face)의 설명을 사용하여 적절한 외부 모델을 선택하는 능력은 어느 정도인가?
• RQ3 언어, 비전, 음성 및 교차 모달 작업에 걸친 엔드 투 엔드 HuggingGPT 파이프라인의 성능과 동작은 어떠한가?
• RQ4 시연과 프롬프트 설계가 작업 계획의 품질과 모델 선택에 어떤 영향을 미치는가?

주요 결과

• HuggingGPT는 자동으로 작업을 계획하고, 전문가 모델을 배정하며, 하위 작업을 실행하고, 여러 모달에 걸쳐 최종 사용자용 응답을 생성할 수 있다.
• Hugging Face 설명에 기반한 모델 선택은 핵심 프롬프트를 변경하지 않고 다양한 모델의 유연한 통합을 가능하게 한다.
• 작업 계획 품질은 LLM 능력과 상관관계가 있다; 평가된 오픈소스 LLM들 중 GPT-3.5가 강한 계획성을 보였고, 그래프 작업에서 GPT-4가 일반적으로 더 나은 수행을 보였으며 인간 주석은 여전히 남은 차이를 드러낸다.
• 인간 평가에 따르면 GPT-3.5는 계획 및 모델 선택 단계에서 Alpaca-13b 및 Vicuna-13b를 능가하는 반면, GPT-4는 더 강한 성능을 보이나 인간 판단에 비해 여전히 여지가 있다.
• 소거 연구에 따르면 시연과 그 다양성은 계획 성능에 다소 영향을 미치며, 예시 수가 적은 수준을 넘으면 수익이 감소한다.