[論文レビュー] HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face

Yongliang Shen, Kaitao Song+4 more|arXiv (Cornell University)|Mar 30, 2023

Topic Modeling被引用数 264

ひとこと要約

HuggingGPT は ChatGPT をコントローラーとして活用し、Hugging Face モデルをオーケストレーションし、言語ベースの計画、選択、実行、応答生成パイプラインを介して多-modal AI タスク解決を可能にする。

ABSTRACT

Solving complicated AI tasks with different domains and modalities is a key step toward artificial general intelligence. While there are numerous AI models available for various domains and modalities, they cannot handle complicated AI tasks autonomously. Considering large language models (LLMs) have exhibited exceptional abilities in language understanding, generation, interaction, and reasoning, we advocate that LLMs could act as a controller to manage existing AI models to solve complicated AI tasks, with language serving as a generic interface to empower this. Based on this philosophy, we present HuggingGPT, an LLM-powered agent that leverages LLMs (e.g., ChatGPT) to connect various AI models in machine learning communities (e.g., Hugging Face) to solve AI tasks. Specifically, we use ChatGPT to conduct task planning when receiving a user request, select models according to their function descriptions available in Hugging Face, execute each subtask with the selected AI model, and summarize the response according to the execution results. By leveraging the strong language capability of ChatGPT and abundant AI models in Hugging Face, HuggingGPT can tackle a wide range of sophisticated AI tasks spanning different modalities and domains and achieve impressive results in language, vision, speech, and other challenging tasks, which paves a new way towards the realization of artificial general intelligence.

研究の動機と目的

• 複数のモダリティにわたる複雑な AI タスクを解決するために、LLM が外部の専門モデルを調整するフレームワークを実証する。
• 言語を LLm と異種 AI モデルを接続する普遍的なインターフェースとして機能させる方法を示す。
• 4 段階のパイプライン（計画、選択、実行、応答）を提案し、言語、視覚、音声タスクでの有効性を検証する。
• タスク計画の品質とモデル選択が全体的なタスク解決とユーザー満足度に与える影響を分析する。

提案手法

• 4 段階のパイプライン: タスク計画、モデル選択、タスク実行、応答生成。
• タスク計画は、標準化された JSON タスク形式とデモを用いた LLM プロンプトを利用し、ユーザー要求を分解してタスク依存関係を確立する。
• モデル選択は、Hugging Face の記述を用いたインコンテキスト割り当てに依存し、ダウンロード数で候補をランク付けして top-K モデルを選択する。
• タスク実行は、選択されたモデルにタスク引数（および動的リソース）を供給し、<resource-task_id> メカニズムでリソース依存関係を処理し、可能な限り並列実行を可能にする。
• 応答生成は、モデル出力を統合してユーザーに向けた一貫性のある回答を作成し、ワークフローの要約と結果の信頼度を含める。

実験結果

リサーチクエスチョン

• RQ1 LLM は、ユーザー要求を依存関係を持つ構造化されたサブタスクのセットへ効果的に計画・分解できるか。
• RQ2 LLM は公開モデルハブ（Hugging Face）の記述を用いて適切な外部モデルを選択できるか。
• RQ3 エンドツーエンドの HuggingGPT パイプラインは、言語、視覚、音声、クロスモーダルタスクでどのような性能と挙動を示すか。
• RQ4 デモとプロンプト設計は、タスク計画とモデル選択の品質にどのように影響するか。

主な発見

• HuggingGPT はタスクを自動的に計画し、専門モデルを割り当て、サブタスクを実行し、複数モダリティに跨る最終的なユーザー向け応答を生成できる。
• Hugging Face の記述に基づくモデル選択は、コアプロンプトを変更することなく多様なモデルを柔軟に統合できる。
• タスク計画の品質は LLM の能力と相関し、評価されたオープンソース LLM の中で GPT-3.5 は計画能力が高く、GPT-4 はグラフタスクで一般的に優れており、人間の注釈によって残るギャップが明らかになる。
• 人間評価では、GPT-3.5 が Alpaca-13b および Vicuna-13b よりも計画とモデル選択の段階で優れており、GPT-4 はより高い性能を示すものの人間の判断と比較してなお改善の余地がある。
• アブレーション研究は、デモとそのバリエーションが計画性能に穏やかに影響し、少数の例を超えるとリターンが縮小することを示す。