[논문 리뷰] A Comprehensive Capability Analysis of GPT-3 and GPT-3.5 Series Models

Junjie Ye, Xuanting Chen외 13명|arXiv (Cornell University)|2023. 03. 18.

Topic Modeling인용 수 186

한 줄 요약

본 논문은 GPT-3 및 GPT-3.5 시리즈를 9개의 NLU 태스크에 걸쳐 21개의 데이터셋으로 분석하고, 제로샷과 파샷 성능을 비교하며, RLHF가 생성 품질은 향상시키는 반면 일부 태스크에 해를 미칠 수 있음을 발견한다.

ABSTRACT

GPT series models, such as GPT-3, CodeX, InstructGPT, ChatGPT, and so on, have gained considerable attention due to their exceptional natural language processing capabilities. However, despite the abundance of research on the difference in capabilities between GPT series models and fine-tuned models, there has been limited attention given to the evolution of GPT series models' capabilities over time. To conduct a comprehensive analysis of the capabilities of GPT series models, we select six representative models, comprising two GPT-3 series models (i.e., davinci and text-davinci-001) and four GPT-3.5 series models (i.e., code-davinci-002, text-davinci-002, text-davinci-003, and gpt-3.5-turbo). We evaluate their performance on nine natural language understanding (NLU) tasks using 21 datasets. In particular, we compare the performance and robustness of different models for each task under zero-shot and few-shot scenarios. Our extensive experiments reveal that the overall ability of GPT series models on NLU tasks does not increase gradually as the models evolve, especially with the introduction of the RLHF training strategy. While this strategy enhances the models' ability to generate human-like responses, it also compromises their ability to solve some tasks. Furthermore, our findings indicate that there is still room for improvement in areas such as model robustness.

연구 동기 및 목표

• GPT-3 및 GPT-3.5 시리즈의 능력이 시간이 지남에 따라 어떻게 진화하는지 이해한다.
• 여러 NLU 태스크와 데이터셋에 걸쳐 GPT-3 및 GPT-3.5 모델을 비교한다.
• 각 모델-태스크 쌍에 대해 제로샷 및 파샷 성능을 평가한다.
• 모델의 강건성을 평가하고 개선이 필요한 영역을 식별한다.
• 사람의 피드백으로부터의 강화학습(RLHF)이 능력에 미치는 영향을 분석한다.

제안 방법

• GPT-3 및 GPT-3.5 시리즈에서 대표적인 여섯 모델을 선택한다 (davinci, text-davinci-001, code-davinci-002, text-davinci-002, text-davinci-003, gpt-3.5-turbo).
• 21개 데이터셋을 사용해 9개의 자연어 이해 태스크에서 모델 성능을 평가한다.
• 각 태스크와 모델에 대해 제로샷과 파샷 설정을 비교한다.
• 태스크와 설정에 따라 모델의 강건성을 평가한다.
• RLHF 학습이 태스크 성능과 생성 품질에 미치는 영향을 분석한다.
• 모델 간 능력 진화의 교차 모델적 합성을 제공한다.

실험 결과

연구 질문

• RQ1 평가된 NLU 태스크 전반에서 GPT-3 및 GPT-3.5 모델이 점진적으로 개선을 보이나?
• RQ2 RLHF가 모델들 간의 태스크 해결 능력과 생성 품질 간의 균형에 어떤 영향을 미치는가?
• RQ3 이 태스크들에서 GPT-3 대 GPT-3.5 모델의 강건성 특성은 무엇인가?
• RQ4 새로운 모델이 초기 모델에 비해 성능이 떨어지는 특정 태스크가 있는가?

주요 결과

• GPT 시리즈의 NLU 태스크 전반적인 능력은 모델 진화를 통해 점진적으로 증가하지 않는다.
• RLHF 학습은 생성 품질을 인간과 유사하게 향상시키지만 일부 태스크의 성능을 저해할 수 있다.
• 태스크 전반에 걸친 모델 강건성 개선 여지가 여전히 상당하다.
• GPT-3와 GPT-3.5 시리즈 간 성능 차이는 태스크 및 설정에 의존적이다.
• 본 연구는 RLHF로 도입된 생성 품질과 태스크 해결 능력 간의 트레이드오프를 강조한다.