[논문 리뷰] Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference

Régin, Florian, De Maria, Elisabetta외 1명|arXiv (Cornell University)|2024. 01. 01.

FinTech, Crowdfunding, Digital Finance인용 수 94

한 줄 요약

Chatbot Arena는 실제 사용자 질문에 대한 모델 응답을 대립 평가하는 방식으로 대규모 언어 모델(Large Language Models, LLMs)을 평가하는 개방형 실시간 벤치마크 플랫폼을 소개한다. 240,000건이 넘는 상호작용에서 유저의 선호도 투표를 활용해 브래드리-테리 모델과 E-값과 같은 통계 모델을 통해 모델 순위를 효율적이고 신뢰성 있게 산정함으로써, 정적이고 정확도 기반의 벤치마크에 비해 인간 선호도와의 실제 일치도가 뛰어나고 동적인 대안을 확립한다.

ABSTRACT

Constraint Programming (CP) and Machine Learning (ML) face challenges in text generation due to CP’s struggle with implementing "meaning" and ML’s difficulty with structural constraints. This paper proposes a solution by combining both approaches and embedding a Large Language Model (LLM) in CP. The LLM handles word generation and meaning, while CP manages structural constraints. This approach builds on GenCP, an improved version of On-the-fly Constraint Programming Search (OTFS) using LLM-generated domains. Compared to Beam Search (BS), a standard NLP method, this combined approach (GenCP with LLM) is faster and produces better results, ensuring all constraints are satisfied. This fusion of CP and ML presents new possibilities for enhancing text generation under constraints.

연구 동기 및 목표

• LLM 평가에서 정적 정확도 기반의 기준이 가지는 한계를 해결하기 위해 인간 선호도와의 실제 일치도를 반영하는 평가 방법 개발.
• 실제 사용자 상호작용과 다양한 새로운 프롬프트를 반영하는 확장성 있고 개방적이며 실시간인 평가 플랫폼 구축.
• 전문가 평가자와의 비교를 통한 검증과 프롬프트 다양성 및 품질 분석을 통해 높은 품질의 인간 선호도 데이터 확보.
• 표본 최적화된 샘플링 알고리즘 개발로 순위 결정 수렴 속도를 가속화하면서도 통계적 타당성 유지.
• 공개 접근이 가능하고 오픈소스인 벤치마크 구축으로 LLM 연구 및 산업계에서 널리 참고되는 표준이 되도록 함.

제안 방법

• 사용자가 모델 식별 정보 없이 두 개의 LLM 응답 중 하나를 선택하는 익명의 실시간 대결 형식을 활용.
• 공개 웹사이트를 통해 실제 사용자 질문과 응답을 수집하여 프롬프트의 다양성과 신선함 확보.
• 쌍대 비교 투표 데이터로부터 상대적 선호도 점수를 추정하기 위해 브래드리-테리 모델 적용.
• Vovk & Wang (2021)의 E-값을 활용해 모델 간 비교의 통계적 유의성과 신뢰도 평가.
• 활성 학습 기반 샘플링 알고리즘을 도입해 정보 수확량을 극대화하고 순위 수렴 속도를 가속화.
• 전문가 애너테이션과의 비교를 통해 데이터 품질 검증으로 높은 일致성과 일관성 확인.

실험 결과

연구 질문

• RQ1 실시간으로 진행되는 사용자 참여 기반의 쌍대 비교 평가 시스템은 LLM 응답에 대한 미묘한 인간 선호도를 얼마나 효과적으로 반영하는가?
• RQ2 Chatbot Arena에서 수집된 사용자 투표는 모델 품질 평가에서 전문가 평가자와 얼마나 일치하는가?
• RQ3 플랫폼에서 수집된 사용자 생성 프롬프트는 실제 LLM 활용 사례를 얼마나 다양하고 대표적으로 반영하고 있는가?
• RQ4 브래드리-테리 모델과 E-값 같은 통계 모델은 노이즈가 많은 실제 인간 선호도 데이터로부터 신뢰할 수 있는 순위를 추정할 수 있는가?
• RQ5 활성 샘플링 전략은 무작위 또는 고정된 쌍으로 구성된 평가 대비 표본 효율성을 얼마나 향상시키는가?

주요 결과

• 2023년 4월 이래로 100개 이상의 언어에서 약 90,000명의 사용자로부터 240,000건이 넘는 인간 선호도 투표를 수집함.
• 사용자 투표 결과는 전문가 평가와 높은 일致성을 보이며 인간 선호도 데이터의 신뢰성과 신뢰도를 확인함.
• 사용자가 생성한 프롬프트는 충분히 다양하고 도전적이며 실제 LLM 응용 분야 및 활용 사례의 광범위한 스펙트럼을 효과적으로 커버함.
• 활성 샘플링 알고리즘은 표본 효율성을 크게 향상시켜 순위 결정 수렴 속도를 가속화하면서도 통계적 타당성을 유지함.
• 2024년 3월 기준으로 100만 건이 넘는 웹사이트 방문 기록을 확보하며 연구 및 산업계에서 가장 널리 인용되는 LLM 랭킹 중 하나로 자리매김함.
• 팀은 향후 연구를 지원하기 위해 플랫폼에서 유래한 10만 건이 넘는 쌍대 비교 투표를 포함한 인간 선호도 데이터셋을 공개할 계획임.