[논문 리뷰] PromptBench: A Unified Library for Evaluation of Large Language Models

Kaijie Zhu, Qinlin Zhao외 3명|arXiv (Cornell University)|2023. 12. 13.

Topic Modeling인용 수 13

한 줄 요약

PromptBench는 프롬프트, 데이터셋, 적대적 프롬프트, 동적 프로토콜, 및 분석 도구 전반에 걸쳐 LLM을 평가하기 위한 통합 Python 라이브러리입니다.

ABSTRACT

The evaluation of large language models (LLMs) is crucial to assess their performance and mitigate potential security risks. In this paper, we introduce PromptBench, a unified library to evaluate LLMs. It consists of several key components that are easily used and extended by researchers: prompt construction, prompt engineering, dataset and model loading, adversarial prompt attack, dynamic evaluation protocols, and analysis tools. PromptBench is designed to be an open, general, and flexible codebase for research purposes that can facilitate original study in creating new benchmarks, deploying downstream applications, and designing new evaluation protocols. The code is available at: https://github.com/microsoft/promptbench and will be continuously supported.

연구 동기 및 목표

• LLM의 능력과 보안 위험을 평가하기 위한 통합적이고 확장 가능한 평가 프레임워크의 필요성을 제시한다.
• 다양한 모델, 데이터셋, 프롬프트 및 평가 프로토콜을 지원하는 모듈식의 연구 중심 라이브러리를 제공한다.
• 오픈 소스 플랫폼을 통해 프롬프트 엔지니어링, 적대적 프롬프트 공격, 동적 평가의 탐색을 촉진한다.

제안 방법

• 모델, 데이터셋, 프롬프트, 적대적 프롬프트, 동적 평가, 분석 도구를 위한 구성요소를 갖춘 모듈형 Python 라이브러리를 도입한다.
• 간편한 파이프라인 구성을 위한 통합 LLMModel 인터페이스와 DatasetLoader를 제공한다.
• 유연한 실험을 위한 네 가지 프롬프트 유형과 Prompt 인터페이스 및 여섯 가지 프롬프트 엔지니어링 방법을 도입한다.
• 동적 및 시맨틱 평가를 포함한 다중 평가 프로토콜과 함께 일곱 가지 적대적 프롬프트 공격 유형을 통합한다.
• 결과 해석과 비교를 위한 리더보드와 확장 가능한 분석 도구를 제공한다.
• 커뮤니티 기여를 지원하기 위한 문서화 및 자습서와 함께 오픈 소스 사용 가능성을 제공한다.

Figure 1 : The components and supported research areas of PromptBench.

실험 결과

연구 질문

• RQ1 프롬프트, 작업, 프로토콜 전반에 걸쳐 다양한 LLM의 포괄적 평가를 간소화하는 통합적이고 확장 가능한 프레임워크는 어떻게 작동할 수 있는가?
• RQ2 표준화된 라이브러리 내에서 프롬프트 엔지니어링과 적대적 프롬프트가 LLM의 강건성 평가에서 어떤 역할을 하는가?
• RQ3 동적 및 시맨틱 평가 프로토콜이 정적 Inference 설정에 비해 더 강건한 벤치마킹을 제공할 수 있는가?
• RQ4 모델과 데이터셋 전반에 걸쳐 평가 파이프라인을 구축하고 공유하며 비교하는 데 있어 PromptBench가 연구자들을 얼마나 잘 지원하는가?

주요 결과

• PromptBench는 모듈식 파이프라인에서 다양한 모델, 데이터셋, 작업, 프롬프트 및 평가 프로토콜을 지원한다.
• 라이브러리는 적대적 프롬프트 공격과 프롬프트 엔지니어링 기법을 포함하여 강건성과 프롬프트 효과를 연구한다.
• 동적 및 시맨틱 평가 기능이 데이터 오염 및 직접 추론을 넘어서는 강건성을 다루도록 통합되어 있다.
• 세 가지 리더보드(적대적 프롬프트 공격, 프롬프트 엔지니어링, 동적 평가)가 결과 비교를 쉽게 가능하게 한다.
• 프레임워크는 오픈 소스 코드와 문서를 통해 연구 지향적 확장성과 개방형 협업을 강조한다.

Figure 2 : A pipeline for evaluation of LLMs.