[论文解读] Learning to Rewrite Tool Descriptions for Reliable LLM-Agent Tool Use

Ruocheng Guo, Kaiwen Dong+2 more|arXiv (Cornell University)|Feb 23, 2026

Scientific Computing and Data Management被引用 0

一句话总结

本文提出 Trace-Free+，一种课程学习框架，通过将带轨迹训练的知识迁移到无轨迹部署，改善 LLM 基于代理的工具接口，提升对未见工具的选择与使用。

ABSTRACT

The performance of LLM-based agents depends not only on the agent itself but also on the quality of the tool interfaces it consumes. While prior work has focused heavily on agent fine-tuning, tool interfaces-including natural language descriptions and parameter schemas-remain largely human-oriented and often become a bottleneck, especially when agents must select from large candidate tool sets. Existing approaches to improving tool interfaces rely on execution traces, which are frequently unavailable in cold-start or privacy-constrained settings, and typically optimize each tool independently, limiting scalability and generalization to unseen tools. We propose Trace-Free+, a curriculum learning framework that progressively transfers supervision from trace-rich settings to trace-free deployment, encouraging the model to abstract reusable interface-usage patterns and tool usage outcomes. To support this approach, we construct a large-scale dataset of high-quality tool interfaces using a structured workflow over a diverse collection of tools. Experiments on StableToolBench and RestBench show consistent gains on unseen tools, strong cross-domain generalization, and robustness as the number of candidate tools scales to over 100, demonstrating that tool interface optimization is a practical and deployable complement to agent fine-tuning.

研究动机与目标

• 提升 LLM 基于工具使用代理的工具接口（描述和参数模式）的质量与泛化能力。
• 在冷启动与隐私受限设置下实现鲁棒的工具选择与参数生成。
• 开发一个可扩展的数据合成工作流，以跨多工具生成高质量的工具接口。
• 展示在跨领域的泛化以及候选工具集扩展到超过 100 时的可扩展性。

提出的方法

• 使用结构化、具备代理特征的工作流，在真实世界工具上构建大规模高质量的工具接口数据集（ToolBench 的种子经健康性和完整性 refine）。
• 综合多步、依赖感知的用户查询，以揭示工具间使用模式和失败点。
• 将开源权重的 LLM 训练成工具描述生成器，采用两阶段描述 refined（D0 -> D1 通用改进；D1 -> D2 通过 RIMRULE 的基于轨迹的 refinements），实现带轨迹和无轨迹的推断。
• 应用课程学习在带轨迹与无轨迹数据上进行模型训练，逐步增加对无轨迹监督的依赖（Trace-Free+）。
• 在 RestBench 与 StableToolBench 上以教师强制协议，在无轨迹和带轨迹设置下进行评测，衡量子任务、查询与工具层面的指标。

Figure 1 : An illustration of the proposed tool interface improvement pipeline. Compared to the original description ( $D0$ ), the learned description generator produces more effective tool descriptions that lead to better tool usage.

实验结果

研究问题

• RQ1 在推断阶段，无轨迹训练是否能够将带轨迹监督的好处迁移到未见工具上？
• RQ2 当候选工具集合规模扩大时，课程学习策略是否能提升泛化与鲁棒性？
• RQ3 在无轨迹条件下，学得的工具描述生成器相较带轨迹基线与提示方法的表现如何？
• RQ4 在同域与跨域工具集合中，改进是否具有一致性？
• RQ5 工具描述质量对多跳任务中的工具选择与 API 执行成功率有何影响？

主要发现

• Trace-Free+ 在未见工具上的子任务级与查询级成功率相较无轨迹和部分基线方法表现出一致的提升。
• Trace-Free+ 在较难的多跳子集上优于 D1，表明带轨迹信息的课程学习在学习工具间依赖关系方面具有价值。
• Trace-Free+ 在跨域泛化方面表现出色，在以 StableToolBench Split B 训练后，用于 RestBench（TMDB/Spotify）的性能提升。
• Trace-Free+ 随着候选工具数超过 100 的增长仍表现出鲁棒性，性能下降幅度小于基线。
• 基于轨迹的模型在轨迹中更能利用工具使用模式，但在冷启动约束下，无轨迹课程仍能提供具有竞争力的结果。

Figure 2 : The SFT data synthesis pipeline.