[논문 리뷰] AdaRubric: Task-Adaptive Rubrics for LLM Agent Evaluation

Liang Ding|arXiv (Cornell University)|2026. 03. 22.

Software Engineering Research인용 수 0

한 줄 요약

AdaRubric은 작업 설명에서 작업별 루브릭을 동적으로 생성하여 차원별 신뢰도를 가진 LLM 에이전트의 궤적을 평가하고 인간 판정 및 다운스트림 작업 성능과의 상관관계를 개선합니다. 루브릭 엔지니어링 없이도 가능합니다.

ABSTRACT

LLM-as-Judge evaluation fails agent tasks because a fixed rubric cannot capture what matters for this task: code debugging demands Correctness and Error Handling; web navigation demands Goal Alignment and Action Efficiency. We present ADARUBRIC, which closes this gap by generating task-specific evaluation rubrics on the fly from task descriptions, scoring trajectories step-by-step with confidence-weighted per-dimension feedback, and filtering preference pairs with the novel DimensionAwareFilter - a provably necessary condition for preventing high-scoring dimensions from masking dimension-level failures. On WebArena and ToolBench, ADARUBRIC achieves Pearson r=0.79 human correlation (+0.16 over the best static baseline) with deployment-grade reliability (Krippendorff's $α$=0.83). DPO agents trained on ADARUBRIC preference pairs gain +6.8 to +8.5 pp task success over Prometheus across three benchmarks; gains transfer to SWE-bench code repair (+4.9 pp) and accelerate PPO convergence by +6.6 pp at 5K steps - both without any rubric engineering. Code: https://github.com/alphadl/AdaRubrics.

연구 동기 및 목표

• 목표지향 LLM 에이전트에 대한 고정 루브릭을 넘어 작업별 평가 기준의 필요성을 제시한다.
• 작업 설명에서 동적이고 직교적인 평가 차원을 생성하는 프레임워크를 제안한다.
• RL/DPO 학습을 위한 단계별, 신뢰도 가중 점수화 및 차원별 크레딧 할당을 가능하게 한다.
• 차원 마스킹 방지 및 평가 신뢰도 향상을 위한 DimensionAwareFilter를 도입한다.
• 다양한 벤치마크 및 다운스트림 작업 전반에서 AdaRubric의 강건성과 전이성을 입증한다.

제안 방법

• Stage 1: Adaptive Rubric Generation LLM이 N개의 차원, 가중치, 다섯 단계 기준을 갖는 작업 적응 루브릭을 출력합니다.
• Stage 2: Confidence-weighted trajectory evaluation 각 단계와 차원이 점수와 신뢰도를 산출하고 가중 평균, 기하 평균, 또는 최소값과 같은 방법으로 종합합니다.
• Stage 3: Filter 파이프라인 DimensionAwareFilter를 포함하여 궤적을 가지치고 고품질 DPO 선호 쌍을 생성합니다.
• 보상 신호 합성 필터링된 궤적에서 여유 기반 DPO 쌍을 만들어 학습에 사용합니다.
• R Krippendorff의 알파를 이용한 신뢰도 정량화를 통해 실행 간 평가자 일관성을 평가합니다.
• GPT-4o 이외의 공개 가중 모델에서도 AdaRubric이 작동한다는 다중 백본 일반화 테스트를 포함합니다.

실험 결과

연구 질문

• RQ1 작업 적응형 루브릭이 다양한 작업 군에서 LLM 기반 에이전트 평가의 정렬 및 신뢰성을 개선할 수 있는가?
• RQ2 차원별 신뢰도 점수와 차원 인식 필터링이 단계별 크레딧 할당 및 다운스트림 학습 신호를 더 잘 생성하는가?
• RQ3 AdaRubric의 성능은 정적 루브릭 및 다른 LLM-판정자 방법과 비교하여 인간과의 상관 및 신뢰성 측면에서 어떠한가?
• RQ4 적응형 루브릭 생성이 코드 수리 및 다중 모달 작업을 포함한 도메인 및 모달리티 간 전이되는가?
• RQ5 AdaRubric 주도 보상이 다운스트림 RL/DPO 학습 수렴 및 작업 성공에 어떤 영향을 미치는가?

주요 결과

Method	WebArena r	ToolBench r	AgentBench r	Avg r	Delta
GPT-4 Direct	0.64	0.60	0.62	0.620	—
AdaRubric -WM	0.74	0.70	0.72	0.720	+0.100
AdaRubric -GM	0.76	0.71	0.74	0.737	+0.117
AdaRubric -DA	0.79	0.74	0.77	0.767	+0.147

• AdaRubric은 WebArena, ToolBench, AgentBench에서 Pearson r이 최대 0.79–0.774에 도달하며 고정 루브릭보다 평균 상관관계에서 최대 0.15p의 향상을 보였습니다.
• AdaRubric은 Krippendorff의 알파가 약 0.83으로 배치 기준을 충족하며 배치 신뢰성을 시연합니다.
• AdaRubric 선호 쌍으로 학습된 DPO 에이전트는 Prometheus 대비 작업 성공에서 최대 +8.5 감소점을 보이고 SWE-bench 코드 수리로 전이됩니다.
• 정적 지표(ROUGE-L, BERTScore)가 에이전트 궤적에 대한 인간 판단과 잘 부합하지 않는 반면, AdaRubric 유도 신호는 학습 성과를 크게 높입니다.
• AdaRubric은 보지 못한 작업 유형(SWE-bench 코드 수리: r=0.77, +4.9 pp DPO)으로 일반화되며 PPO 수렴 속도를 증가시킵니다(+5K 단계에서 +6.6 pp).
• 교차 도메인 전이 실험은 적응형 루브릭이 도메인 내 학습 외의 새로운 작업 군에서 성능을 향상시킵니다.