[论文解读] TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training
TopoCurate 引入基于互动拓扑的数据策划来改进工具使用代理训练,结合拓扑引导的数据选择用于 SFT 与 RL,在 Tau2 Bench 和 BFCLv3 上对基线显示出一致的性能提升。
Training tool-use agents typically relies on outcome-based filtering: Supervised Fine-Tuning (SFT) on successful trajectories and Reinforcement Learning (RL) on pass-rate-selected tasks. However, this paradigm ignores interaction dynamics: successful trajectories may lack error recovery or exhibit redundancy, while pass rates fail to distinguish structurally informative tasks from trivial ones. We propose extbf{TopoCurate}, an interaction-aware framework that projects multi-trial rollouts from the same task into a unified semantic quotient topology. By merging equivalent action-observation states, this projection transforms scattered linear trajectories into a structured manifold that explicitly captures how tool invocations and environmental responses drive the divergence between effective strategies and failure modes. Leveraging this representation, we introduce a dual-selection mechanism: for SFT, we prioritize trajectories demonstrating reflective recovery, semantic efficiency, and strategic diversity to mitigate covariate shift and mode collapse; for RL, we select tasks with high error branch ratios and strategic heterogeneity, maximizing gradient Signal-to-Noise Ratio to address vanishing signals in sparse-reward settings. Evaluations on BFCLv3 and Tau2 Bench show that TopoCurate achieves consistent gains of 4.2\% (SFT) and 6.9\% (RL) over state-of-the-art baselines. We will release the code and data soon for further investigations.
研究动机与目标
- 将数据策划从基于结果的筛选转向对代理-环境交互的拓扑建模。
- 开发三种面向 SFT 的拓扑度量(Reflective Recovery、Semantic Efficiency、Distributional Diversity),以降低共变偏移与模式崩溃。
- 开发两种面向 RL 的任务选择度量(Error Branch Ratio、Strategic Heterogeneity),以最大化梯度信号与噪声比。
- 提供一个将多轮回放投影到商拓扑的形式化框架,并在实践中证明其有效性。
提出的方法
- 将完整的交互回合记为 〖hat{z}〗_t = (r_t, a_t, o_t)并将语义等价的回合合并到商拓扑中,从而得到状态上的有向无环图(DAG)。
- 引入三种 SFT 轨迹打分度量:Reflective Recovery、Semantic Efficiency、Distributional Diversity,并计算一个复合选择权重 w(tau) 来对数据进行再加权(Eq. 7)。
- 将 RL 任务选择公式化为结构化度量:Error Branch Ratio 与 Strategic Heterogeneity,并定义一个优先高 SNR 任务的选择分布(Eq. 11)。
- 给出一个理论视角,将拓扑再加权与 KL 散度最小化、SFT 中的共变量偏移降低以及基于 GRPO 的 RL 中的 Fisher 信息最大化联系起来。
- 在 Tau2 Bench 与 BFCL v3 上进行评估,与基于结果的基线进行比较,显示在 Pass@k 和泛化能力方面的整体提升。

实验结果
研究问题
- RQ1通过建模交互拓扑并将等效的动作-观测状态合并,是否能够揭示 outcome-based 筛选忽略的因果结构和鲁棒策略?
- RQ2面向 SFT 的拓扑感知度量(Reflective Recovery、Semantic Efficiency、Distributional Diversity)是否能提升数据质量并减小共变偏移,相较于标准的仅基于结果的筛选?
- RQ3面向 RL 的拓扑引导任务选择度量(Error Branch Ratio、Strategic Heterogeneity)是否能最大化梯度信息并在稀疏奖励场景中加速训练?
- RQ4TopoCurate 派生的数据策划策略是否在 Tau2 Bench 与外部 BFCL v3 基准上相对于最先进基线取得可衡量的提升?
- RQ5在不同模型规模(8B、32B)及不同领域(航空、零售、通信)下,拓扑数据策划的经验影响是什么?
主要发现
- TopoCurate 在 Tau2 Benchmark(IID)和 BFCL v3(OOD)上持续优于最先进基线。
- 面向 SFT 的拓扑感知数据筛选比仅基于结果的筛选获得更高的 Pass@k 分数和更好的泛化性。
- 基于拓扑的 RL 任务选择提供更高的梯度信息(SNR)并在跨领域中实现了更好的策略收敛。
- 消融研究确认 Reflective Recovery 和 Structural Complexity 是性能提升的关键贡献因素,而 Diversity 与 Efficiency 在特定领域提供了额外益处。
- 对训练过程的动态分析显示,在应用 TopoCurate 的模型中策略反思性提高、效率提升以及更强的策略可塑性。

阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。