[논문 리뷰] GPTEval: A Survey on Assessments of ChatGPT and GPT-4

Rui Mao, Guanyi Chen외 3명|arXiv (Cornell University)|2023. 08. 24.

Artificial Intelligence in Healthcare and Education인용 수 24

한 줄 요약

ChatGPT와 GPT-4가 언어, 추론, 과학 지식, 윤리에 걸쳐 어떻게 평가되어 왔는지에 대한 포괄적 조사로, 강점, 약점 및 방법론적 문제점을 강조합니다.

ABSTRACT

The emergence of ChatGPT has generated much speculation in the press about its potential to disrupt social and economic systems. Its astonishing language ability has aroused strong curiosity among scholars about its performance in different domains. There have been many studies evaluating the ability of ChatGPT and GPT-4 in different tasks and disciplines. However, a comprehensive review summarizing the collective assessment findings is lacking. The objective of this survey is to thoroughly analyze prior assessments of ChatGPT and GPT-4, focusing on its language and reasoning abilities, scientific knowledge, and ethical considerations. Furthermore, an examination of the existing evaluation methods is conducted, offering several recommendations for future research in evaluating large language models.

연구 동기 및 목표

• 다양한 작업과 분야에 걸쳐 ChatGPT와 GPT-4의 언어 능력과 추론 능력을 평가합니다.
• 과학 지식 및 도메인 특정 성과에 대한 연구 결과를 요약합니다.
• 현재의 평가 및 배치에서의 윤리적 고려사항과 편향을 식별합니다.
• 평가 방법론을 비판적으로 분석하고 향후 연구를 위한 제안을 제공합니다.

제안 방법

• 다수의 도메인과 과제에 걸친 ChatGPT 및 GPT-4의 정량적 평가를 검토합니다.
• 언어 이해, 생성 및 추론 능력과 관련된 결과를 분석합니다.
• 공정성에 영향을 미치는 평가 방법, 프롬프트, 데이터 누출 문제를 비판적으로 검토합니다.
• 형식 과학 및 자연 과학 전반에 걸친 과학 지식에 대한 발견을 종합합니다.
• 공정성, 강건성, 신뢰성 및 데이터 프라이버시를 포함한 윤리적 고려사항을 논의합니다.

실험 결과

연구 질문

• RQ1 다양한 과제와 분야에서 ChatGPT와 GPT-4의 나타난 언어 능력과 추론의 강점과 한계는 무엇인가요?
• RQ2 전문가 모델이나 인간과 비교했을 때 ChatGPT와 GPT-4의 과학 지식 영역 성과는 어떤가요?
• RQ3 대형 언어 모델의 현재 평가 방법론에서 어떤 신뢰성과 공정성 문제가 제기되나요?
• RQ4 데이터 누출과 프롬프트 영향 등을 포함하여 실제 맥락에서 GPT 모델을 사용하는 데서 어떤 윤리적 고려사항이 제기되나요?
• RQ5 key_findings 및 추가 분석 메모

주요 결과

• ChatGPT와 GPT-4는 강한 언어 이해 및 생성 능력을 보이지만 도메인 특화 지식에서는 전문가 모델보다 뒤처진다.
• GPT-4와 ChatGPT는 많은 과학 관련 질문에서 좋은 성과를 보이지만 다단계 추론이 필요한 질문에서 실패할 수 있다.
• 평가 방법은 프롬프트 엔지니어링과 데이터 세트 선택으로 인해 신뢰할 수 없는 경우가 많으며, 데이터 누출 가능성이 공정성에 영향을 준다.
• 프롬프트 설계와 벤치마크 선택이 모델 및 과제 간 비교 결과에 큰 영향을 준다.
• GPT-4는 컴퓨터 과학 및 법과 같은 일부 시험에서 거의 인간 수준의 성과를 달성하지만 다른 영역에서 여전히 격차와 안전 문제를 보인다.