[論文レビュー] Tool Learning with Foundation Models

Yujia Qin, Shengding Hu+39 more|arXiv (Cornell University)|Apr 17, 2023

Mobile Crowdsensing and Crowdsourcing被引用数 29

ひとこと要約

本論文は、Foundation Modelsを用いたツール学習の一般的なフレームワークを提示し、背景と既存研究を概説し、18のツールを用いた実験で検証し、課題と今後の方向性を強調する。

ABSTRACT

Humans possess an extraordinary ability to create and utilize tools, allowing them to overcome physical limitations and explore new frontiers. With the advent of foundation models, AI systems have the potential to be equally adept in tool use as humans. This paradigm, i.e., tool learning with foundation models, combines the strengths of specialized tools and foundation models to achieve enhanced accuracy, efficiency, and automation in problem-solving. Despite its immense potential, there is still a lack of a comprehensive understanding of key challenges, opportunities, and future endeavors in this field. To this end, we present a systematic investigation of tool learning in this paper. We first introduce the background of tool learning, including its cognitive origins, the paradigm shift of foundation models, and the complementary roles of tools and models. Then we recapitulate existing tool learning research into tool-augmented and tool-oriented learning. We formulate a general tool learning framework: starting from understanding the user instruction, models should learn to decompose a complex task into several subtasks, dynamically adjust their plan through reasoning, and effectively conquer each sub-task by selecting appropriate tools. We also discuss how to train models for improved tool-use capabilities and facilitate the generalization in tool learning. Considering the lack of a systematic tool learning evaluation in prior works, we experiment with 18 representative tools and show the potential of current foundation models in skillfully utilizing tools. Finally, we discuss several open problems that require further investigation for tool learning. In general, we hope this paper could inspire future research in integrating tools with foundation models.

研究の動機と目的

• ツール使用と foundation models の認知・パラダイム背景を紹介する。
• ツール、環境、コントローラ、知覚者を統合した一般的なツール学習フレームワークを定式化する。
• 既存のツール学習研究をレビューし、主要な問題点と解決策を特定する。
• 18のツールを用いた実験を通じて foundation models が多様なツールを活用する潜在能力を示す。
• 安全性、スケーラビリティ、パーソナライズされたツール学習における未知の課題と今後の方向性を議論する。

提案手法

• ツールセット、環境、コントローラ（foundation model）、知覚者の4要素を用いた統一的なツール学習フレームワークを定義する。
• ユーザの意図から実行可能な計画とツール実行へ至る一般的な手順を説明する。
• デモンストレーションとフィードバックからの学習という学習戦略を概説する。
• マルチツール相互作用の標準化インターフェースを通じた一般化可能なツール学習を論じる。
• 現在の foundation models がツールを活用する能力を評価するため、代表的な18ツールで実験を行う。

実験結果

リサーチクエスチョン

• RQ1 foundation models をどのように構造化して、さまざまなツールの使用を学習・調整させることができるか？
• RQ2 学習戦略は foundation models の堅牢で一般化可能なツール使用をどう促進するか？
• RQ3 最先端の foundation models は実用タスクで広範なツール群を効果的に活用できる程度はどの程度か？
• RQ4 foundation models を用いたツール学習の展開における主要な課題（安全性、個別化、ツール創出）は何か？
• RQ5 統一インターフェースは新しいツールや文脈へのツール使用スキルの移行をどう促進するか？

主な発見

• Foundation models（例：ChatGPT）は、シンプルなプロンプティングでツールを効果的に使用してタスクを解決できる。
• 一般的なツール学習フレームワークは、ツール、環境、モデル間の相互作用を統一できる。
• デモンストレーションとフィードバックからの学習は、ツール使用能力を向上させる中心となる。
• 18ツールにわたる実験は、現在の foundation models がツール操作を活用する潜在能力と限界を示している。
• 本論文は、安全性、ツール創出、個別化、複雑なシステムでの展開など、主要な未解決問題を特定している。