[논문 리뷰] PandaLM: An Automatic Evaluation Benchmark for LLM Instruction Tuning Optimization

Yidong Wang, Zhuohao Yu외 11명|arXiv (Cornell University)|2023. 06. 08.

Topic Modeling인용 수 28

한 줄 요약

PandaLM은 오픈 LLM의 지시-튜닝 하이퍼파라미터를 평가하고 최적화하도록 학습된 프라이버시 보호 판정용 LLM(PandaLM-7B)을 도입하며, 주관적 품질 측면에 초점을 맞추고 API 기반 평가 및 인간 평가에 비해 경쟁력 있는 성능을 시연한다.

ABSTRACT

Instruction tuning large language models (LLMs) remains a challenging task, owing to the complexity of hyperparameter selection and the difficulty involved in evaluating the tuned models. To determine the optimal hyperparameters, an automatic, robust, and reliable evaluation benchmark is essential. However, establishing such a benchmark is not a trivial task due to the challenges associated with evaluation accuracy and privacy protection. In response to these challenges, we introduce a judge large language model, named PandaLM, which is trained to distinguish the superior model given several LLMs. PandaLM's focus extends beyond just the objective correctness of responses, which is the main focus of traditional evaluation datasets. It addresses vital subjective factors such as relative conciseness, clarity, adherence to instructions, comprehensiveness, and formality. To ensure the reliability of PandaLM, we collect a diverse human-annotated test dataset, where all contexts are generated by humans and labels are aligned with human preferences. Our results indicate that PandaLM-7B achieves 93.75% of GPT-3.5's evaluation ability and 88.28% of GPT-4's in terms of F1-score on our test dataset. PandaLM enables the evaluation of LLM to be fairer but with less cost, evidenced by significant improvements achieved by models tuned through PandaLM compared to their counterparts trained with default Alpaca's hyperparameters. In addition, PandaLM does not depend on API-based evaluations, thus avoiding potential data leakage. All resources of PandaLM are released at https://github.com/WeOpenML/PandaLM.

연구 동기 및 목표

• LLM의 지시-튜닝 하이퍼파라미터 최적화를 위해 자동화되고 신뢰할 수 있는 평가의 필요성을 제시한다.
• 응답의 주관적 측면뿐만 아니라 객관적 측면도 평가하는 판정용 LLM으로 PandaLM을 제안한다.
• PandaLM의 신뢰성과 관련성을 검증하기 위한 인간 정합 테스트 데이터셋을 만든다.
• PandaLM이 선택한 하이퍼파라미터가 Alpaca 기반 기본값보다 상당한 성능 향상을 가져옴을 보여준다.

제안 방법

• 일관된 미세조정 데이터로 다수의 오픈 LLM에서 나온 Alpaca-52K 스타일 입력과 응답으로부터 생성된 300k GPT-3.5-생성 평가 튜플에 대해 PandaLM-7B(LLaMA-7B 기본 모델)를 훈련한다.
• 평가 결과, 근거, 참조 응답을 PandaLM 출력으로 통합한다.
• 자가 지시(self-instruction)로 데이터를 증류하고 잡음과 입력 순서 편향을 완화하기 위한 휴리스틱 필터링을 적용한다.
• 높은 인터-annotator 간 일치를 갖는 인간 표기 테스트 세트(1k 샘플)를 구성하여 PandaLM을 인간 및 API 모델과 대조 평가한다.
• 강건성을 위해 이중 추론 접근 방식(순서 교환 응답)을 사용하여 PandaLM을 GPT-3.5, GPT-4 및 인간과 평가한다.

(a) Comparison Results of GPT-3.5.

실험 결과

연구 질문

• RQ1 주관적 및 객관적 기준에 걸쳐 지시-튜닝된 LLM들 간의 신뢰할 수 있게 평가하고 구분할 수 있는 전용 판정용 LLM이 있는가?
• RQ2 다양한 테스트 세트에서 PandaLM-7B의 평가 성능이 GPT-3.5, GPT-4 및 인간 판단에 얼마나 근접하는가?
• RQ3 PandaLM이 선택한 하이퍼파라미터가 Alpaca 기반 기본값보다 다수의 기본 모델에서 오픈 LLM의 성능을 더 향상시키는가?
• RQ4 PandaLM이 API 기반 평가에 의존하지 않으면서 프라이버시를 보장하고 비용 효율적인 평가를 가능하게 할 수 있는가?

주요 결과

• PandaLM-7B는 다양한 인간 주석 테스트 세트에서 GPT-3.5의 평가 능력의 93.75%와 GPT-4의 88.28%를 달성한다( F1 용어로).
• 모델들은 PandaLM-선정 하이퍼파라미터로 미세조정되어 Alpaca-미세조정 대비 인간 및 GPT 기반 평가에서 우수하다.
• PandaLM은 API 데이터 누출 없이 자동적이고 프라이빗한 평가를 가능하게 하며 오픈 소스 접근성과 재현성을 제공한다.
• 구조화된 튜닝 절차(모델당 80 구성, 네 개 블록, 강건한 블록 간 비교)는 기본 모델에 따라 달라지는 효과적인 하이퍼파라미터를 확인한다.
• 다운스트림 lm-eval 작업에서 PandaLM-튜닝 모델은 여러 벤치마크에서 Alpaca-튜닝 모델보다 일관된 개선을 보인다.

(b) Comparison Results of GPT-4.