[论文解读] AdaRubric: Task-Adaptive Rubrics for LLM Agent Evaluation
AdaRubric 通过从任务描述动态生成面向任务的评分量表,以逐维度置信度对 LLM 代理轨迹进行评分,从而提升与人工判断和下游任务表现的相关性,且无需进行评分量表工程。
LLM-as-Judge evaluation fails agent tasks because a fixed rubric cannot capture what matters for this task: code debugging demands Correctness and Error Handling; web navigation demands Goal Alignment and Action Efficiency. We present ADARUBRIC, which closes this gap by generating task-specific evaluation rubrics on the fly from task descriptions, scoring trajectories step-by-step with confidence-weighted per-dimension feedback, and filtering preference pairs with the novel DimensionAwareFilter - a provably necessary condition for preventing high-scoring dimensions from masking dimension-level failures. On WebArena and ToolBench, ADARUBRIC achieves Pearson r=0.79 human correlation (+0.16 over the best static baseline) with deployment-grade reliability (Krippendorff's $α$=0.83). DPO agents trained on ADARUBRIC preference pairs gain +6.8 to +8.5 pp task success over Prometheus across three benchmarks; gains transfer to SWE-bench code repair (+4.9 pp) and accelerate PPO convergence by +6.6 pp at 5K steps - both without any rubric engineering. Code: https://github.com/alphadl/AdaRubrics.
研究动机与目标
- 为目标导向的 LLM 代理提供超越固定评分量表的任务特定评估标准的必要性(动机)。
- 提出一个框架,从任务描述中生成动态的正交评估维度。
- 实现逐步、置信度加权评分和每个维度的 credits 分配,以用于 RL/DPO 训练。
- 引入 DimensionAwareFilter,防止维度遮蔽并提升评估可靠性。
- 在多种基准和下游任务中展示 AdaRubric 的鲁棒性与迁移性。
提出的方法
- 阶段1:自适应评分量表生成:由 LLM 输出带有 N 个维度、权重和五级标准的面向任务的评分量表。
- 阶段2:置信度加权轨迹评估:每一步和每个维度产生分数和置信度,采用加权平均、几何平均或最小值等方法聚合。
- 阶段3:过滤管线,包括 DimensionAwareFilter,用于修剪轨迹并生成高质量的 DPO 偏好对」。
- 奖励信号综合:从过滤后的轨迹中基于边际的 DPO 偏好对用于训练。
- 利用 Krippendorff’s α 对评估者一致性进行可靠性量化。
- 多骨干网络泛化测试,展示 AdaRubric 能在除 GPT-4o 以外的开放权重模型上工作。
实验结果
研究问题
- RQ1任务自适应评分量表是否能在多样任务族中提升 LLM 代理评估的一致性与相关性?
- RQ2逐维度置信度分数和维度感知过滤是否能提供更好的逐步信贷分配与下游学习信号?
- RQ3在人工相关性和可靠性方面,AdaRubric 与静态评分量表及其他将 LLM 作为评审的方案相比有何差异?
- RQ4自适应评分量表的生成是否能够在代码修复与多模态任务等领域和模态间转移?
- RQ5基于 AdaRubric 的奖励对下游 RL/DPO 训练的收敛性与任务成功率有何影响?
主要发现
- AdaRubric 在 WebArena、ToolBench、AgentBench 的皮尔逊相关系数最高可达 0.79–0.774,较静态评分量表的平均相关性提升最多 0.15。
- AdaRubric 的部署可靠性通过 Krippendorff’s α 约为 0.83,达到提出的部署标准。
- 在 AdaRubric 偏好对训练的 DPO 代理相比 Prometheus,在任务成功率上提升可达 8.5 个百分点,并且迁移到 SWE-bench 代码修复任务。
- 静态度量(ROUGE-L、BERTScore)与代理轨迹的人类判断相关性较差,而基于 AdaRubric 派生的信号显著提升学习效果。
- AdaRubric 能泛化到未见过的任务类型(SWE-bench 代码修复:r=0.77,DPO 提升 +4.9 点),并在 5K 步时加速 PPO 收敛(+6.6 点)。
- 跨领域迁移实验表明自适应评分量表在新任务族上提升性能,超出域内训练。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。