[논문 리뷰] A Systematic Study and Comprehensive Evaluation of ChatGPT on Benchmark Datasets

Md Tahmid Rahman Laskar, M Saiful Bari외 4명|arXiv (Cornell University)|2023. 05. 29.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 140개의 NLP 벤치마크 작업에서 ChatGPT를 대규모 무지도 평가하고, 255K 응답을 분석하여 강점, 약점 및 PolyQuery Synthesis와 같은 emergent capabilities를 특징화합니다.

ABSTRACT

The development of large language models (LLMs) such as ChatGPT has brought a lot of attention recently. However, their evaluation in the benchmark academic datasets remains under-explored due to the difficulty of evaluating the generative outputs produced by this model against the ground truth. In this paper, we aim to present a thorough evaluation of ChatGPT's performance on diverse academic datasets, covering tasks like question-answering, text summarization, code generation, commonsense reasoning, mathematical problem-solving, machine translation, bias detection, and ethical considerations. Specifically, we evaluate ChatGPT across 140 tasks and analyze 255K responses it generates in these datasets. This makes our work the largest evaluation of ChatGPT in NLP benchmarks. In short, our study aims to validate the strengths and weaknesses of ChatGPT in various tasks and provide insights for future research using LLMs. We also report a new emergent ability to follow multi-query instructions that we mostly found in ChatGPT and other instruction-tuned models. Our extensive evaluation shows that even though ChatGPT is capable of performing a wide variety of tasks, and may obtain impressive performance in several benchmark datasets, it is still far from achieving the ability to reliably solve many challenging tasks. By providing a thorough assessment of ChatGPT's performance across diverse NLP tasks, this paper sets the stage for a targeted deployment of ChatGPT-like LLMs in real-world applications.

연구 동기 및 목표

• 다양한 NLP 작업(언어 이해, 생성, 코딩, 추론, 번역 및 윤리)을 대상으로 ChatGPT의 성능을 평가한다.
• 최첨단 미세조정 모델 및 인간 성능과 비교하여 강점과 약점을 파악한다.
• 프롬프트 변형, 모델 버전 및 지시 따르기 전략(예: Chain-of-Thought)에 따른 강건성을 조사한다.
• ChatGPT 출력에서 편향, 허위 정보 가능성 및 윤리적 고려사항을 검토한다.
• 실세계의 ChatGPT 유사 LLMs의 배치를 inform하기 위한 emergent capabilities와 한계를 발견한다.

제안 방법

• Leaderboard 기반 및 작업 기반 NLP 벤치마크에서의 제로샷 평가.
• 구별 가능한 작업에 대한 인간-개입 검증 및 생성 작업에 대한 자동 지표 사용.
• 다양한 지표에 걸쳐 SOTA 미세조정 모델 및 다른 대형 LLM과의 비교.
• 프롬프트 전략(Chain-of-Thought 포함 여부)의 제거/적용에 따른 분석 및 모델 버전 차이의 평가.
• 표준 벤치마크(WinoBias, TruthfulQA 등)를 사용한 편향, 윤리 및 허위 정보 평가.
• 단일 프롬프트 내 다중 질의 기능으로서 PolyQuery Synthesis의 도입 및 평가.

실험 결과

연구 질문

• RQ1 제로샷 설정에서 ChatGPT가 광범위한 NLP 벤치마크 작업에서 어떻게 수행하는가?
• RQ2 언어 이해, 생성, 추론 및 윤리 차원에서 ChatGPT의 강점과 약점은 무엇인가?
• RQ3 프롬프트 전략(Chain-of-Thought 포함)과 다른 ChatGPT 버전이 성능에 어떤 영향을 미치는가?
• RQ4 ChatGPT가 다중 질의가 가능한 PolyQuery Synthesis와 같은 emergent 기능을 보이는가?

주요 결과

• ChatGPT는 종종 단일 작업에 최적화된 최신 미세조정 모델에 비해 성능이 뒤처진다.
• ChatGPT는 알고리즘 과제에서 평균적인 인간과 동등한 성능을 보일 수 있으며 제로샷 수학 및 코딩 능력이 강력하다.
• 모델 버전에 따라 성능 차이가 크게 나타나며, 최신 버전이 항상 이전 버전을 능가하는 것은 아니다.
• Chain-of-Thought 프롬프트는 일부 벤치마크에서 성능을 크게 향상시키는 반면, CoT가 없는 경우 새로운 추론 과제에서 망각으로 이어질 수 있다.
• ChatGPT는 개방 도메인 지식에서 강한 모습을 보이지만 PaLM 540B 및 LLaMA 65B에 비해 일부 상식 추론 과제에서 약한 성능을 보인다.
• 윤리 및 편향 벤치마크에서 ChatGPT는 정의/덕목 측면에서 이전의 SOTA 모델보다 종종 우수하지만 Type 1 편향 과제에서 편향을 보이며, 진실성 면에서는 이전 모델과 비교해 일반적으로 우호적이다.