[论文解读] OpaqueToolsBench: Learning Nuances of Tool Behavior Through Interaction
本文推出 OpaqueToolsBench,这是一个通过在三个任务环境中交互学习使用不透明工具的基准,并提出 ToolObserver 框架,通过执行反馈细化工具文档以提升大模型的工具使用效果。
Tool-calling is essential for Large Language Model (LLM) agents to complete real-world tasks. While most existing benchmarks assume simple, perfectly documented tools, real-world tools (e.g., general "search" APIs) are often opaque, lacking clear best practices or failure modes. Can LLM agents improve their performance in environments with opaque tools by interacting and subsequently improving documentation? To study this, we create OpaqueToolsBench, a benchmark consisting of three distinct task-oriented environments: general function calling, interactive chess playing, and long-trajectory agentic search. Each environment provides underspecified tools that models must learn to use effectively to complete the task. Results on OpaqueToolsBench suggest existing methods for automatically documenting tools are expensive and unreliable when tools are opaque. To address this, we propose a simple framework, ToolObserver, that iteratively refines tool documentation by observing execution feedback from tool-calling trajectories. Our approach outperforms existing methods on OpaqueToolsBench across datasets, even in relatively hard settings. Furthermore, for test-time tool exploration settings, our method is also efficient, consuming 3.5-7.5x fewer total tokens than the best baseline.
研究动机与目标
- 在真实 API 中工具行为不明确或不透明时,激发学习使用工具的动机。
- 提供三个环境(BFCL-Opaque、Chess、BrowseComp Plus),测试从执行反馈和跨轨迹知识中学习。
- 提出 ToolObserver,通过探索与对任务轨迹的反思,迭代地改进工具文档。
- 在基线方法对比中评估 ToolObserver,并分析效率、收敛性与文档保真度。
提出的方法
- 定义工具接口与两种不透明性类型(文档不透明与固有不透明)。
- 创建三个具有工具信息不足的环境:BFCL-Opaque、Chess、BrowseComp Plus,用于测试结构化/非结构化输入、轨迹学习和测试时泛化。
- 引入 ToolObserver,具有离线和在线模式,交替进行探索(Exploration)与反思(Reflection)阶段以收集轨迹并更新文档。
- 使用 Editor LLM 总结并将基于批次的洞见合并为通用工具描述,采用两阶段共识过程。
- 将 ToolObserver 与 Play2Prompt 和 EasyTool 在 GPT-5 与 GPT-5-mini 上使用 ReAct 推理进行对比。
实验结果
研究问题
- RQ1LLM 代理是否可以通过观察和与不透明工具交互来学习使用工具,而非依赖完美的工具文档?
- RQ2当存在测试时泛化或未见工具时,离线与在线 ToolObserver 设置的表现如何?
- RQ3基于轨迹的文档更新是否比基线方法在多工具、多步骤任务中更高效地提升工具使用?
- RQ4在不透明性下, learned tool descriptions 的收敛性质和保真度如何?
主要发现
- ToolObserver 在 BFCL-Opaque、Chess、BrowseComp 中在执行准确性和工具使用质量方面始终优于基线。
- 在最具挑战性的设置(Anon. Fn. Names)中,ToolObserver 搭配 GPT-5 的执行准确性为 0.80,而 Play2Prompt 为 0.44。
- 在测试时设置中,ToolObserver 的探索令牌消耗为最佳基线探索的 3.5–7.5 倍更少。
- 离线模式通过在训练数据上收集的轨迹进行工具文档的迭代改进,而在线模式则在测试时对未见工具进行适应。
- ToolObserver 相较于基线在语义和词汇相似性上对黄金工具描述具有更高的一致性(例如在某些设置中语义相似性为 0.58 而基线为 0.51)。
- ToolObserver 的文档收敛通常在 2–3.5 次迭代内完成,当提供更多工具信息时收敛速度更快。
- 编辑器的强度会影响性能,通常更强的编辑器会带来更好的下游代理性能。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。