[논문 리뷰] WildBench: Benchmarking LLMs with Challenging Tasks from Real Users in the Wild

Bill Yuchen Lin, Yuntian Deng외 7명|arXiv (Cornell University)|2024. 06. 07.

Recommender Systems and Techniques인용 수 4

한 줄 요약

WildBench는 실시간 채팅 상호작용에서 수집한 1,024개의 실제 사용자 쿼리로 구성된 동적이고 자동화된 벤치마크를 도입하여 대규모 언어 모델(Large Language Models, LLMs)을 평가한다. 이는 과제별 체크리스트와 구조적 추론을 활용한 LLM-자기 평가 방식을 통해 해석 가능하고 신뢰할 수 있는 점수를 생성하며, WB-Reward(쌍대 비교)와 WB-Score(개별 점수)를 통해 인간 평가와의 피어슨 상관계수 각각 0.98과 0.95를 기록하여 기존 벤치마크를 능가한다.

ABSTRACT

We introduce WildBench, an automated evaluation framework designed to benchmark large language models (LLMs) using challenging, real-world user queries. WildBench consists of 1,024 tasks carefully selected from over one million human-chatbot conversation logs. For automated evaluation with WildBench, we have developed two metrics, WB-Reward and WB-Score, which are computable using advanced LLMs such as GPT-4-turbo. WildBench evaluation uses task-specific checklists to evaluate model outputs systematically and provides structured explanations that justify the scores and comparisons, resulting in more reliable and interpretable automatic judgments. WB-Reward employs fine-grained pairwise comparisons between model responses, generating five potential outcomes: much better, slightly better, slightly worse, much worse, or a tie. Unlike previous evaluations that employed a single baseline model, we selected three baseline models at varying performance levels to ensure a comprehensive pairwise evaluation. Additionally, we propose a simple method to mitigate length bias, by converting outcomes of ``slightly better/worse'' to ``tie'' if the winner response exceeds the loser one by more than $K$ characters. WB-Score evaluates the quality of model outputs individually, making it a fast and cost-efficient evaluation metric. WildBench results demonstrate a strong correlation with the human-voted Elo ratings from Chatbot Arena on hard tasks. Specifically, WB-Reward achieves a Pearson correlation of 0.98 with top-ranking models. Additionally, WB-Score reaches 0.95, surpassing both ArenaHard's 0.91 and AlpacaEval2.0's 0.89 for length-controlled win rates, as well as the 0.87 for regular win rates.

연구 동기 및 목표

• 기존 LLM 벤치마크가 합성 또는 좁은 과제 분포에 의존하는 한계를 해결하기 위해 실시간 채팅 상호작용에서 유래한 실제, 다양한, 도전적인 사용자 쿼리를 사용하는 것.
• 인간의 노고를 줄이면서도 인간 선호도와 높은 일치도를 유지하는 자동화, 확장성 있고 해석 가능한 평가 프레임워크를 개발하는 것.
• 특히 길이 편향을 포함한 LLM-자기 평가 평가에서 흔히 발생하는 편향을 동적 길이 페널티 메커니즘을 통해 완화하는 것.
• WildChat 프로젝트에서 새로운 미사용 사용자 데이터를 지속적으로 업데이트하여 데이터의 최신성과 泄露 위험을 줄이는 것.
• 공개된 검증 데이터와 상세한 제작 절차를 통해 투명하고 오염에 강한 평가 플랫폼을 제공하는 것.

제안 방법

• WildBench는 WildChat 데이터셋의 100만 건이 넘는 실제 사용자-챗봇 대화 로그에서 1,024개의 과도한 도전 과제를 선별하여 수집하며, 다중 LLM 분석과 수동 검토를 통해 쉬운 과제를 제거한다.
• LLM 심사위원이 과제별 체크리스트를 활용해 구조적이고 단계적인 정당성을 생성하는 Chain-of-Thought(CoT)-기반 프롬프팅 전략을 적용하여 응답 품질을 평가한다.
• WB-Reward는 다섯 가지 결과(매우 좋음, 약간 좋음, 비김, 약간 나쁨, 매우 나쁨)를 기반으로 모델 출력 간 쌍대 비교를 수행하며, 종합적인 평가를 위해 단일 모델 대신 세 개의 기준 모델을 사용한다.
• WB-Score는 개별적으로 모델 출력을 평가하여 쌍대 비교 없이도 빠르고 비용 효율적인 모델 품질 평가를 가능하게 한다.
• 승리한 응답이 진배진 응답보다 K자 이상 길 경우, '약간 좋음' 또는 '약간 나쁨' 결과를 '비김'으로 전환하는 길이 페널티 메커니즘이 도입되어 길이 편향을 완화한다.
• 데이터 泄露를 방지하기 위해 비공개 보류 세트를 사용하며, 공개된 검증 세트와 제작 파이프라인을 통해 투명성을 확보한다.

Figure 1: Evaluation framework for WildBench .

실험 결과

연구 질문

• RQ1 실제 세계의 개방형 사용자 쿼리에 대해 평가할 때, 자동화된 LLM-자기 평가 프레임워크가 인간 선호 평가와 높은 상관관계를 달성할 수 있는가?
• RQ2 쌍대 비교에서 단일 기준 모델 대비 다수의 기준 모델을 사용할 경우, LLM 평가의 정교함과 종합성은 어떻게 향상되는가?
• RQ3 LLM 심사위원이 체크리스트와 단계적 추론을 활용할 경우, 자동 평가의 모호성은 얼마나 감소하고 해석 가능성은 어떻게 향상되는가?
• RQ4 동적 길이 페널티 메커니즘은 LLM-자기 평가 평가에서 잘 알려진 길이 편향을 얼마나 효과적으로 완화하는가?
• RQ5 실제 사용자 데이터를 지속적으로 업데이트하는 벤치마크는 정적이고 폐쇄적인 벤치마크보다 더 높은 관련성과 모델 오염에 대한 저항성을 유지할 수 있는가?

주요 결과

• WB-Reward는 Chatbot Arena에서 인간 투표 기반 엘로 점수와 하드 과제에서 피어슨 상관계수 0.98을 기록하여 인간 선호도와 거의 완벽한 일치를 보였다.
• WB-Score는 인간 평가와의 상관계수 0.95를 기록하여 ArenaHard의 0.91과 AlpacaEval2.0의 길이 제어 승률 0.89를 뛰어넘었다.
• 이 벤치마크는 다양한 과제 유형에서 뛰어난 성능을 보이며, 코딩, 수학, 추론 분야에서의 모델 강점과 약점을 파악할 수 있는 상세한 점수 분석을 제공한다.
• 쌍대 평가에서 세 개의 기준 모델을 사용함으로써 단일 기준 모델 접근 방식보다 더 세밀하고 종합적인 평가가 가능해졌으며, 다양한 모델 레벨 간 성능 차이를 포괄적으로 포착했다.
• 길이 페널티 메커니즘이 출력 길이가 판단에 미치는 영향을 효과적으로 줄여 평가의 공정성과 신뢰도를 향상시켰다.
• WildBench 랭킹은 출시 이래로 20,000회 이상 접근되었으며, 연구 커뮤니티 내에서의 강한 수용과 실용성을 보여주었다.

Figure 2: Distribution of query lengths in AlpacaEval, ArenaHard, and WildBench.