[論文レビュー] TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs

Yaobo Liang, Chenfei Wu+12 more|arXiv (Cornell University)|Mar 29, 2023

Ferroelectric and Negative Capacitance Devices被引用数 9

ひとこと要約

TaskMatrix.AI は、マルチモーダル会話型基盤モデルを brain として活用し、何百万もの API と市販モデルをオーケストレーションしてデジタルおよび物理タスクを完遂するエコシステムを提案し、学習可能なアライメントと API 主導の実行を備える。

ABSTRACT

Artificial Intelligence (AI) has made incredible progress recently. On the one hand, advanced foundation models like ChatGPT can offer powerful conversation, in-context learning and code generation abilities on a broad range of open-domain tasks. They can also generate high-level solution outlines for domain-specific tasks based on the common sense knowledge they have acquired. However, they still face difficulties with some specialized tasks because they lack enough domain-specific data during pre-training or they often have errors in their neural network computations on those tasks that need accurate executions. On the other hand, there are also many existing models and systems (symbolic-based or neural-based) that can do some domain-specific tasks very well. However, due to the different implementation or working mechanisms, they are not easily accessible or compatible with foundation models. Therefore, there is a clear and pressing need for a mechanism that can leverage foundation models to propose task solution outlines and then automatically match some of the sub-tasks in the outlines to the off-the-shelf models and systems with special functionalities to complete them. Inspired by this, we introduce TaskMatrix.AI as a new AI ecosystem that connects foundation models with millions of APIs for task completion. Unlike most previous work that aimed to improve a single AI model, TaskMatrix.AI focuses more on using existing foundation models (as a brain-like central system) and APIs of other AI models and systems (as sub-task solvers) to achieve diversified tasks in both digital and physical domains. As a position paper, we will present our vision of how to build such an ecosystem, explain each key component, and use study cases to illustrate both the feasibility of this vision and the main challenges we need to address next.

研究の動機と目的

• 事前学習データを超えるドメイン固有タスクを扱うために、基盤モデルと多様な API を接続する必要性を動機づける。
• 実行可能な API 主導の計画を生成するコアのマルチモーダル基盤モデルを使用するアーキテクチャを提案する。
• 統一されたドキュメンテーションスキーマを備えた API プラットフォームを定義し、スケーラブルな API 統合を可能にする。
• 利用可能な API に対して基盤モデルと API セレクターを整合させるためのフィードバック学習メカニズムを導入する。
• マルチモーダルなコンテンツ作成、オフィス自動化、ロボティクス、クラウドサービスにわたる潜在的な応用を示す。

提案手法

• 4 コンポーネントからなるアーキテクチャを定義する：マルチモーダル対話型基盤モデル（MCFM）、API プラットフォーム、API セレクター、API エグゼキューター。
• MCFM はユーザー指示・文脈・API の可用性に基づいて解決策の概要とアクションコードを生成する。
• API プラットフォームは API の利用と構成を促進するための統一スキーマを提供する。
• API セレクターは意味論的に関連 API を取得し、モジュール化されたドメイン固有パッケージをサポートする。
• API エグゼキューターは生成されたアクションコードを実行し、タスク満足度を検証するステップを備える。
• 人間のフィードバックからの強化学習（RLHF）を組み込み、API の理解とタスク計画を改善し、API ドキュメントを改善するための API 開発者へのフィードバックも行う。）

実験結果

リサーチクエスチョン

• RQ1 基盤モデルをどのように利用して、多数の API にマッピングされた実行可能なタスク概要を生成できるか？
• RQ2 マルチモーダルタスクのためのスケーラブルな API 選択・実行・検証を可能にするアーキテクチャ機構は何か？
• RQ3 RLHF と開発者フィードバックは時間とともにコアモデルと API ドキュメントの整合性をどのように改善できるか？
• RQ4 デジタルおよび物理的領域にわたって、基盤モデルと数百万もの API を結びつける実用的な応用例は何か。

主な発見

• このアーキテクチャは、解決策の概要を生成し、API を選択し、アクションコードを実行することで、逐次的なタスク解決を可能にする。
• 統一された API ドキュメンテーションスキーマと API プラットフォームは、基盤モデルによる API の容易な統合と再利用を促進する。
• RLHF と API 開発者へのフィードバックは、学習の迅速化、API のより良い利用、ドキュメントの継続的改善を促進する。
• このアプローチは、コンテンツ生成、オフィス自動化、ロボティクス、IoT/コンピューティングタスクを含む、デジタルおよび物理的タスクの双方をサポートする。
• システムは明示的なアクションコードと API 結果を通じた解釈可能性を重視し、追跡可能なタスク実行を可能にする。