[논문 리뷰] AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents

Chang Ma, Junlei Zhang외 7명|arXiv (Cornell University)|2024. 01. 24.

Topic Modeling인용 수 8

한 줄 요약

AGENTBOARD는 다양한 부분적으로 관찰 가능한 환경에서 다중 턴 LLM 에이전트를 평가하기 위한 통합적이고 오픈 소스인 벤치마크 및 분석 프레임워크를 제시하며, 최종 성공률을 넘어서는 미세한 진행 속도에 따른 통찰을 강조한다.

ABSTRACT

Evaluating Large Language Models (LLMs) as general-purpose agents is essential for understanding their capabilities and facilitating their integration into practical applications. However, the evaluation process presents substantial challenges. A primary obstacle is the benchmarking of agent performance across diverse scenarios within a unified framework, especially in maintaining partially-observable environments and ensuring multi-round interactions. Moreover, current evaluation frameworks mostly focus on the final success rate, revealing few insights during the process and failing to provide a deep understanding of the model abilities. To address these challenges, we introduce AgentBoard, a pioneering comprehensive benchmark and accompanied open-source evaluation framework tailored to analytical evaluation of LLM agents. AgentBoard offers a fine-grained progress rate metric that captures incremental advancements as well as a comprehensive evaluation toolkit that features easy assessment of agents for multi-faceted analysis. This not only sheds light on the capabilities and limitations of LLM agents but also propels the interpretability of their performance to the forefront. Ultimately, AgentBoard serves as a step towards demystifying agent behaviors and accelerating the development of stronger LLM agents.

연구 동기 및 목표

• 다양한 다중 라운드 작업을 포괄함으로써 최종 성공률을 넘어 LLM 에이전트의 포괄적 평가를 촉진한다.
• 환경이 부분적으로 관찰 가능하고 real-world 시나리오를 반영하기 위해 장기간의 상호작용이 필요하도록 보장한다.
• 에이전트의 점진적 발전을 포착하기 위한 미세한 진행 속도 지표를 도입한다.
• 에이전트 하위 기술과 경로를 진단하기 위한 시각화 기능이 포함된 오픈 소스 분석 도구 키트를 제공한다.

제안 방법

• 메모리와 피드백을 가진 다중 라운드 사이클에서 상호 작용하는 반사 에이전트를 위한 통합 POMDP 기반 프레임워크를 정의한다.
• 각 데이터 샘플에 대한 하위 목표를 주석 처리하여 이산적 진행 속도와 g에 대한 연속 매칭 점수를 계산한다.
• 목표를 하위목표로 분해하여 정규식 기반 매칭 함수 f(·, gi)를 사용해 r_subgoal으로 진행 상황을 계산한다.
• 구현형, 게임, 웹, 도구 카테고리에 걸친 아홉 가지 다양한 환경을 선별하여 다중 라운드의 부분적으로 관찰 가능한 도전 과제를 보장한다.
• 발전 속도, 바인딩 정확도, 장거리 상호작용, 하위 기술 성능을 시각화하기 위한 wandb 기반의 오픈 소스 평가 패널을 개발한다.

실험 결과

연구 질문

• RQ1 미세한 진행 속도가 LLM 에이전트 능력을 구분하는 데 있어 최종 성공률과 어떻게 비교되는가?
• RQ2 부분 관찰 가능성 하의 다중 턴 에이전트 작업에서 오픈-웨이트와 독점형(프로프라이어터리) LLM의 한계는 무엇인가?
• RQ3 그라운딩, 월드 모델링, 자기 성찰이 다중 라운드 환경에서 출현하는 에이전트 능력에 어떤 영향을 미치는가?
• RQ4 일원화된 분석 도구 키트가 향후 에이전트 개발을 이끌어 줄 경로 수준의 통찰을 밝힐 수 있는가?

주요 결과

• 진행 속도는 과제 전반에서 최종 성공률보다 더 구별력 있는 통찰을 제공한다; 유사한 성공률의 모델은 진행 속도에서 종종 차이가 있다.
• 독점형 모델이 일반적으로 오픈-웨이트 모델보다 뛰어나며, GPT-4가 과제 전반에서 평균 진행 속도에서 선두를 달린다.
• 코드-데이터가 풍부한 훈련 및 에이전트 지시 튜닝은 오픈-웨이트 모델의 에이전트적 능력을 향상시키며, 특히 도구 사용과 장거리 계획이 필요한 과제에서 그렇다.
• 그라운딩 정확도는 모델 및 과제에 따라 다르다; 지시 튜닝만으로는 전체 성능 향상을 보장하지 않는다.
• Emergent 에이전트 능력은 기초 기술인 그라운딩, 월드 모델링, 그리고 자기 성찰과 같은 기술과 상관관계가 있다; AGENTBOARD의 분석은 최종 결과를 넘어서는 미묘한 경로를 드러낸다.