[論文レビュー] OpaqueToolsBench: Learning Nuances of Tool Behavior Through Interaction
要約: 本論文は、OpaqueToolsBench を導入し、三つのタスク環境を通じて不透明ツールの使い方を学習するベンチマークを提案し、実行フィードバックを通じてツールのドキュメントを洗練し LLM のツール利用を改善するフレームワーク ToolObserver を提案します。
Tool-calling is essential for Large Language Model (LLM) agents to complete real-world tasks. While most existing benchmarks assume simple, perfectly documented tools, real-world tools (e.g., general "search" APIs) are often opaque, lacking clear best practices or failure modes. Can LLM agents improve their performance in environments with opaque tools by interacting and subsequently improving documentation? To study this, we create OpaqueToolsBench, a benchmark consisting of three distinct task-oriented environments: general function calling, interactive chess playing, and long-trajectory agentic search. Each environment provides underspecified tools that models must learn to use effectively to complete the task. Results on OpaqueToolsBench suggest existing methods for automatically documenting tools are expensive and unreliable when tools are opaque. To address this, we propose a simple framework, ToolObserver, that iteratively refines tool documentation by observing execution feedback from tool-calling trajectories. Our approach outperforms existing methods on OpaqueToolsBench across datasets, even in relatively hard settings. Furthermore, for test-time tool exploration settings, our method is also efficient, consuming 3.5-7.5x fewer total tokens than the best baseline.
研究の動機と目的
- 現実世界の API でツールの挙動が不明確または不透明な場合のツール利用学習を動機づける。
- executions feedback と横断的知識の学習を試す三つの環境(BFCL-Opaque、Chess、BrowseComp Plus)を提供する。
- 探索と反省を通じてツールのドキュメントを反復的に洗練する ToolObserver を提案する。
- ToolObserver をベースラインと比較し、効率性・収束性・ドキュメントの忠実度を分析する。
提案手法
- ツールのインターフェースと二つの不透明性タイプ(ドキュメンテーションと内在的不透明性)を定義する。
- 構造化/非構造化入力、軌跡学習、テスト時一般化を試すためにツールが不十分な三つの環境:BFCL-Opaque、Chess、BrowseComp Plus を作成する。
- exploration と Reflection のフェーズを交互に行い軌跡を収集しドキュメントを更新する offline および online モードを持つ ToolObserver を導入する。
- Editor LLM を用いてバッチベースの知見を要約・統合し、二段階の合意プロセスで一般化されたツール説明へと統合する。
- ToolObserver を Play2Prompt および EasyTool と比較し、GPT-5 および GPT-5-mini の ReAct 推論を用いて評価する。
実験結果
リサーチクエスチョン
- RQ1LLM エージェントは完全なツールドキュメンテーションに依存せず、観察と相互作用を通じて不透明ツールを学習できるのか。
- RQ2 offline および online の ToolObserver 設定は、テスト時一般化や未知ツールが存在する場合にどのように機能するか。
- RQ3軌跡ベースのドキュメント更新は、多ツール・多段階タスクにおいてベースラインよりツール利用を効率的に改善するか。
- RQ4不透明性の下で学習されたツール説明の収束性と忠実度はどの程度か。
主な発見
- ToolObserver は BFCL-Opaque、Chess、BrowseComp のいずれにおいても、実行正確度とツール利用品質の点でベースラインを一貫して上回る。
- 最も困難な設定(Anon. Fn. Names)では、GPT-5 を用いた ToolObserver が 0.80 の実行正確度を達成し、Play2Prompt の 0.44 を上回る。
- 探索は、テスト時設定において最良のベースラインの探索より 3.5~7.5 倍少ないトークンで済む。
- offline モードでは訓練データから収集した軌跡を通じてツールドキュメントを反復的に洗練でき、online モードはテスト時の未知ツールに適応する。
- ToolObserver はゴールドのツール説明とベースラインと比べて意味論的・語彙的類似性が高い(例:特定設定で意味論的類似性 0.58 vs 0.51)。
- ToolObserver のドキュメント収束は通常 2–3.5 回の反復で起き、より多くのツール情報が提供されると収束は速くなる。
- エディタの強さは性能に影響を与え、一般に強力なエディタほど下流エージェントの性能が向上する。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。