[论文解读] AI Agents That Matter

Sayash Kapoor, Benedikt Stroebl+3 more|arXiv (Cornell University)|Jul 1, 2024

Computability, Logic, AI Algorithms被引用 4

一句话总结

本文批评了当前AI智能体评估基准在过度强调准确率的同时，忽视了成本、可复现性及现实适用性。文章提出了成本可控的评估方法，通过Pareto曲线联合优化准确率与成本，为模型开发者与下游应用开发者设计不同的评估标准，采用有原则的预留数据集以防止过拟合，并推行标准化的评估实践——实证表明，更简单、更经济的智能体在HumanEval和HotPotQA上可达到或超越SOTA性能。

ABSTRACT

AI agents are an exciting new research direction, and agent development is driven by benchmarks. Our analysis of current agent benchmarks and evaluation practices reveals several shortcomings that hinder their usefulness in real-world applications. First, there is a narrow focus on accuracy without attention to other metrics. As a result, SOTA agents are needlessly complex and costly, and the community has reached mistaken conclusions about the sources of accuracy gains. Our focus on cost in addition to accuracy motivates the new goal of jointly optimizing the two metrics. We design and implement one such optimization, showing its potential to greatly reduce cost while maintaining accuracy. Second, the benchmarking needs of model and downstream developers have been conflated, making it hard to identify which agent would be best suited for a particular application. Third, many agent benchmarks have inadequate holdout sets, and sometimes none at all. This has led to agents that are fragile because they take shortcuts and overfit to the benchmark in various ways. We prescribe a principled framework for avoiding overfitting. Finally, there is a lack of standardization in evaluation practices, leading to a pervasive lack of reproducibility. We hope that the steps we introduce for addressing these shortcomings will spur the development of agents that are useful in the real world and not just accurate on benchmarks.

研究动机与目标

• 解决AI智能体评估中过度依赖准确率作为唯一指标的问题，该问题导致智能体设计过于复杂且成本高昂。
• 识别出模型开发者与下游应用开发者在评估需求上存在差异，导致评估目标错位。
• 揭示基准中预留数据集不足导致捷径学习与过拟合，损害泛化能力。
• 指出当前智能体评估缺乏标准化与可复现性，夸大了报告性能，降低了结果可信度。
• 推动开发不仅准确，而且成本可控、泛化能力强、在现实应用中切实可用的AI智能体。

提出的方法

• 引入三种简单基线智能体（如思维链、自一致性）以证明，通过显著降低推理成本，可实现与复杂SOTA智能体相当的高准确率。
• 将评估结果可视化为准确率与成本的Pareto前沿，利用改进的DSPy框架实现两者的联合优化。
• 设计并实现一个框架，用于在多个抽象层次（如任务、领域、指令风格）生成预留数据集，以检测对基准模式的过拟合。
• 在HumanEval、HotPotQA、NovelQA和WebArena上开展案例研究，揭示现有基准在可复现性与过拟合风险方面的缺陷。
• 发布开源代码与Web应用程序，支持结果复现、成本-准确率权衡的可视化，并推动社区采纳标准化评估实践。
• 通过实际测量推理成本（以美元计）实施成本感知评估，而非依赖模型参数或token数量等代理指标。

实验结果

研究问题

• RQ1 简单基线智能体在HumanEval上能在显著降低推理成本的前提下达到SOTA性能的程度如何？
• RQ2 如何形式化并实现智能体开发中准确率与成本的联合优化？其带来的权衡关系是什么？
• RQ3 为何现有基准无法区分模型开发与下游应用需求？如何纠正这一问题？
• RQ4 智能体基准中可能发生哪些类型的过拟合？如何通过在不同抽象层次上设置预留数据集来防止？
• RQ5 当前智能体评估的可复现性程度如何？哪些系统性问题削弱了报告性能指标的可靠性？

主要发现

• 简单基线智能体（如思维链、自一致性）在HumanEval上表现优于多个SOTA复杂智能体架构，同时将推理成本降低数个数量级。
• 通过DSPy框架中的Pareto前沿分析实现准确率与成本的联合优化，在HotPotQA上成功将成本降低高达70%，同时保持SOTA准确率。
• 面向模型开发的基准评估常误导下游开发者，因其依赖模型大小等代理指标，而非实际推理的美元成本。
• 对基准的过拟合普遍存在——WebArena与HumanEval的案例研究揭示了可复现性问题，包括不一致的数据划分与未报告的超参数，导致准确率估计被夸大。
• 缺乏标准化评估实践导致性能声明被高估；例如，发表的评估中误差条缺失或不一致，削弱了对结果的信心。
• 作者发布了完全可复现的代码库、用于探索成本-准确率权衡的Web应用，以及一个联合优化器，以支持社区广泛采纳更严格的评估标准。