[論文レビュー] Tool Learning with Large Language Models: A Survey

Changle Qu, Sunhao Dai+6 more|arXiv (Cornell University)|May 28, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本調査は、大規模言語モデル（LLMs）におけるツール学習について包括的な概要を提供し、ツール統合がLLMの能力をどのように向上させるか——幻覚を低減し、複雑な推論を可能にする——を体系的に分析するとともに、タスク計画、ツール選択、ツール呼び出し、応答生成の4段階ワークフローを通じた実装方法を解説する。主な貢献は、統一された分類法、ベンチマークの分類、および未解決の課題の特定であり、本分野の研究者や開発者にとって基盤的リソースを提供する。

ABSTRACT

Recently, tool learning with large language models (LLMs) has emerged as a promising paradigm for augmenting the capabilities of LLMs to tackle highly complex problems. Despite growing attention and rapid advancements in this field, the existing literature remains fragmented and lacks systematic organization, posing barriers to entry for newcomers. This gap motivates us to conduct a comprehensive survey of existing works on tool learning with LLMs. In this survey, we focus on reviewing existing literature from the two primary aspects (1) why tool learning is beneficial and (2) how tool learning is implemented, enabling a comprehensive understanding of tool learning with LLMs. We first explore the "why" by reviewing both the benefits of tool integration and the inherent benefits of the tool learning paradigm from six specific aspects. In terms of "how", we systematically review the literature according to a taxonomy of four key stages in the tool learning workflow: task planning, tool selection, tool calling, and response generation. Additionally, we provide a detailed summary of existing benchmarks and evaluation methods, categorizing them according to their relevance to different stages. Finally, we discuss current challenges and outline potential future directions, aiming to inspire both researchers and industrial developers to further explore this emerging and promising area. We also maintain a GitHub repository to continually keep track of the relevant papers and resources in this rising area at https://github.com/quchangle1/LLM-Tool-Survey.

研究の動機と目的

• LLMsにおけるツール学習に関する研究が散逸している状態を是正するため、体系的かつ構造的な概要を提供すること。
• ツール統合とツール学習パラダイムの利点を6つの具体的な次元に沿って明確化すること。
• ツール学習パイプラインを、タスク計画、ツール選択、ツール呼び出し、応答生成の4つのコア段階に分解すること。
• 各段階との整合性に基づいて、既存のベンチマークと評価手法を分類・要約すること。
• ツール拡張LLMの展開とスケーラビリティを阻害する主な課題を特定し、今後の研究方向性を提起すること。

提案手法

• LLMsにおけるツール学習に関する約100編の論文を対象とした体系的文献レビューを実施する。
• ツール学習の4段階分類法（タスク計画、ツール選択、ツール呼び出し、応答生成）を提唱する。
• ワークフローの各段階との整合性に基づいて、既存のベンチマークと評価プロトコルを分類する。
• 精度、推論、リアルタイム知識、ツール多様性、スケーラビリティ、セーフティの6つの視点から、ツール学習の利点を分析する。
• セキュリティ脆弱性、実世界ベンチマークの不足、マルチモーダル対応の制限といった、新たな課題を特定・議論する。
• 統一されたフレームワーク開発、実ユーザーのデータ収集、マルチモーダルツール学習といった今後の研究方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 なぜツール学習は、大規模言語モデルの能力を向上させるのに有益なのか？
• RQ2 ツール学習プロセスを、明確で分析可能な段階に体系的に分解できるか？
• RQ3 現在のベンチマークと評価手法は何か？ それらはワークフローの各段階にどのように分布しているか？
• RQ4 ツール拡張LLMの展開とスケーラビリティを阻害する主な課題は何か？
• RQ5 LLMsにおけるツール学習を前進させるために、最も有望な今後の研究方向性は何か？

主な発見

• ツール統合により、LLMが外部のリアルタイム情報や計算集約型ツールにアクセス可能になるため、幻覚が顕著に低減され、事実の正確性が向上する。
• タスク計画、ツール選択、ツール呼び出し、応答生成の4段階ワークフローは、ツール学習を実装するための強固で体系的なフレームワークを提供する。
• 既存のベンチマークは、主にLLMが生成したクエリに基づいているため、実際のユーザー行動とは乖離しており、代表性や実用的価値に制限がある。
• すべての4段階を統合する統一されたツール学習フレームワークはまだ存在せず、結果として断片的でスケーラブルでないソリューションが広がっている。
• セキュリティは依然として深刻な課題であり、LLMがツール使用におけるセーフティ意識を欠いていることが多く、攻撃のリスクを暴露している。
• マルチモーダルツール学習はまだ十分に検討されておらず、視覚的・聴覚的入力を通じてユーザーの意図をより良く理解できるという潜在的価値にもかかわらず。