[論文レビュー] TaskBench: Benchmarking Large Language Models for Task Automation

Yongliang Shen, Kaitao Song+7 more|arXiv (Cornell University)|Nov 30, 2023

Topic Modeling被引用数 7

ひとこと要約

TaskBenchは、タスク分解、ツール起動、パラメータ予測の3つの主要段階をモデル化することで、大規模言語モデル（LLMs）のタスク自動化における評価を包括的に行うベンチマークを導入する。バックインstruct法を用い、ツールグラフによるデータ合成と、TaskEvalというマルチメトリック評価フレームワークを採用することで、人間の評価と強い整合性（ Kendall’s τ = 0.89 ）を示し、GPT-4がオープンソースモデルに比べて特にパラメータ予測において優れた性能（v-F1 = 71.14%）を示すことが明らかになった。

ABSTRACT

In recent years, the remarkable progress of large language models (LLMs) has sparked interest in task automation, which involves decomposing complex tasks described by user instructions into sub-tasks and invoking external tools to execute them, playing a central role in autonomous agents. However, there is a lack of systematic and standardized benchmarks to promote the development of LLMs in task automation. To address this, we introduce TaskBench, a comprehensive framework to evaluate the capability of LLMs in task automation. Specifically, task automation can be divided into three critical stages: task decomposition, tool selection, and parameter prediction. To tackle the complexities inherent in these stages, we introduce the concept of Tool Graph to represent decomposed tasks and adopt a back-instruct method to generate high-quality user instructions. We propose TaskEval, a multi-faceted evaluation methodology that assesses LLM performance across these three stages. Our approach combines automated construction with rigorous human verification, ensuring high consistency with human evaluation. Experimental results demonstrate that TaskBench effectively reflects the capabilities of various LLMs in task automation. It provides insights into model performance across different task complexities and domains, pushing the boundaries of what current models can achieve. TaskBench offers a scalable, adaptable, and reliable benchmark for advancing LLM-based autonomous agents.

研究の動機と目的

• 標準的で体系的なベンチマークが存在しない現実世界のタスク自動化におけるLLMsの評価を、標準的NLPタスクを超える複数段階の処理を含む形で解決すること。
• 外部ツールや依存関係を含む複雑なマルチステージタスク自動化シナリオにおける、高品質で多様な評価データの収集の課題を克服すること。
• タスク分解、ツール選択、パラメータ予測の全パイプラインを捉える、信頼性の高い自動評価フレームワークの開発。
• 自動化されたメトリクスと人間の判断を照合することで評価の正確性を保証し、人間の順位付けと高い相関（Kendall’s τ = 0.89）を達成すること。
• タスク自動化におけるLLMのパフォーマンス要因（推論力、指示従い、コード事前学習、アライメント技術など）を特定すること。

提案手法

• ツールとその依存関係を体系的に表現するためのツールグラフ（TG）を導入し、タスク自動化シナリオの体系的サンプリングを可能にする。
• ツールグラフ内の事前定義されたサブタスクとツール起動グラフから逆方向に指示を生成することで、現実的で自然なユーザー指示の合成にバックインstruct法を採用する。
• タスク分解（n-F1）、ツール起動（n-F1）、パラメータ予測（v-F1）の3段階を評価する多様な次元の評価フレームワーク「TaskEval」を設計する。
• 自動生成と人間による検証を組み合わせたハイブリッドなデータ収集戦略を採用し、高品質で現実的である評価データを確保する。
• TaskBenchスコアと人間の評価順位との整合性を検証するために、統計的指標（Kendall’s τ および Spearman’s ρ）を適用する。
• Hugging Face、マルチメディア、日常利用APIの3分野において、GPT-4やCode-Llama、Vicunaなどの多様なLLMsを評価する。

実験結果

リサーチクエスチョン

• RQ1 バックインstruct法とツールグラフを用いた自動データ生成は、現実世界の複雑さを反映した高忠実度のタスク自動化指示をどれほど効果的に生成できるか？
• RQ2 既存のLLMsは、タスク自動化の3つの主要段階（分解、ツール起動、パラメータ予測）において、どの程度のパフォーマンスを示すか？
• RQ3 TaskBenchの評価は、実行可能性と問題解決効率の観点から、人間の判断とどの程度一致するか？
• RQ4 推論力、指示従い、RLHFアライメント技術などのモデル特徴が、タスク自動化におけるLLMパフォーマンスに最も顕著に影響を与えるか？
• RQ5 GPT-4のような特許取得済みモデルに比べ、オープンソースLLMsはエンドツーエンドのタスク自動化能力でどの程度差を示すか？

主な発見

• TaskBenchは人間の評価と強く整合しており、Kendall’s τ 0.89、Spearman’s ρ 0.78を達成し、信頼性の高いベンチマークであることが確認された。
• GPT-4は全分野で最高のパフォーマンスを示し、日常利用API分野でv-F1 71.14%を記録し、オープンソースモデルを大きく上回った。
• 指示従いのデータで微調整されたオープンソースモデル（例：Vicuna-13b、WizardLLM-13b）は、ベースのLlama-2-13bを上回り、指示微調整の重要性が浮き彫りになった。
• コード事前学習されたモデル（例：Code-Llama）は、非コード事前学習モデルに比べてv-F1で12.76%の向上を示し、コード理解力がパラメータ予測を向上させることを示唆した。
• 人間のアライメント技術（例：RLHF）を備えたモデルは、推論力と一般化能力が強く、過学習を低減し、自動化パフォーマンスを向上させた。
• オープンソースLLMsの平均v-F1スコアは、Hugging Face分野で60.86%、マルチメディア分野で72.31%、日常利用API分野で71.14%であり、パラメータ予測の正確性に一貫した格差が存在することが明らかになった。