[논문 리뷰] Have We Reached AGI? Comparing ChatGPT, Claude, and Gemini to Human Literacy and Education Benchmarks

Mfon Akpan|arXiv (Cornell University)|2024. 07. 11.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 연구는 캘리포니아 대학의 인문학 및 교육 표준과 비교하여 대규모 언어 모델(Langauge Model, LLM)인 ChatGPT, Claude, Gemini가 인공통합지능(AGI)에 도달했는지 평가한다. 미국 인구조사국 및 기술 보고서의 자료를 바탕으로 분석한 결과, LLM은 학부 수준의 지식과 독해력 테스트에서 평균 미국인보다 뛰어난 성능을 보이며 AGI에 상당한 진전을 이룬 것으로 나타났다. 다만, 최종 결론을 내리기 위해서는 더 넓은 인지 평가가 여전히 필요하다.

ABSTRACT

Recent advancements in AI, particularly in large language models (LLMs) like ChatGPT, Claude, and Gemini, have prompted questions about their proximity to Artificial General Intelligence (AGI). This study compares LLM performance on educational benchmarks with Americans' average educational attainment and literacy levels, using data from the U.S. Census Bureau and technical reports. Results show that LLMs significantly outperform human benchmarks in tasks such as undergraduate knowledge and advanced reading comprehension, indicating substantial progress toward AGI. However, true AGI requires broader cognitive assessments. The study highlights the implications for AI development, education, and societal impact, emphasizing the need for ongoing research and ethical considerations.

연구 동기 및 목표

• 최근 대규모 언어 모델(Langauge Model, LLM)인 ChatGPT, Claude, Gemini가 인간 교육 기준과 비교하여 인공통합지능(AGI)에 도달했는지 평가하기 위해.
• 미국 인구조사국 및 기술 보고서의 자료를 활용하여 인간의 독해력 및 교육 수준 기준과 LLM의 능력을 표준화된 측정치와 비교하기 위해.
• LLM이 고등교육에 관련된 지식 및 이해력 과제에서 인간 평균을 어느 정도 초월하는지 규명하기 위해.
• 현재 평가 기준의 격차를 특정하고, 진정한 AGI를 정의하기 위해 더 넓은 인지 평가의 필요성을 강조하기 위해.
• LLM 성능을 인간 성능과 비교하여 AI 개발, 교육 정책 및 윤리적 고려사항에 영향을 주기 위해.

제안 방법

• 연구는 ChatGPT, Claude, Gemini 등의 공개된 성능 데이터를 기반으로 표준화된 교육 및 독해력 평가 기준을 사용한다.
• 인간의 성능 기준은 미국 인구조사국이 제공한 미국 내 평균 교육 수준 및 독해력 수준 자료에서 유래한다.
• 학부 수준의 지식 및 고급 독해력 과제 영역에서 LLM 출력과 인간 평균 간의 비교 분석을 수행한다.
• 일반 지식, 추론 및 이해력 요구 과제에 중점을 두어 인간 인지 능력의 핵심 요소를 반영한다.
• 교육 평가에서 사용되는 표준화된 지표를 활용해 성능를 정량화함으로써 국가 수준의 인간 기준과 직접 비교할 수 있도록 한다.
• 연구는 좁은 범위의 평가 기준의 한계를 강조하며, AGI 준비도 평가를 위해 더 넓고 종합적인 인지 평가가 필요하다고 주장한다.

실험 결과

연구 질문

• RQ1 현재의 LLM인 ChatGPT, Claude, Gemini가 교육 및 독해력 평가 기준에서 평균 미국인을 어느 정도 초월하는가?
• RQ2 고급 독해력 및 일반 지식 요구 과제에서 LLM은 인간 성능과 어떻게 비교되는가?
• RQ3 LLM과 인간 간의 성과 격차는 현재 인공통합지능(AGI) 향한 궤도에 대해 무엇을 시사하는가?
• RQ4 현재 LLM이 잘 충족하는 인지 영역는 무엇이며, 인간 능력에 비해 여전히 부족한 영역는 무엇인가?
• RQ5 LLM 성능이 인간 평균을 초월함에 따라 AI 개발, 교육 및 사회 윤리에 어떤 영향을 미치는가?

주요 결과

• ChatGPT, Claude, Gemini 등의 LLM은 학부 수준의 지식 과제에서 평균 미국인보다 뚜렷이 뛰어난 성능을 보이며 일반 교육 기준에서 강력한 성과를 나타낸다.
• 고급 독해력 과제에서 LLM은 미국 성인의 평균 교육 수준을 초월하는 성능 수준을 보인다.
• 연구는 일반 인지 능력 및 사실 지식을 측정하는 표준화된 평가에서 LLM이 높은 점수를 기록하며 인간 평균을 초월함을 발견했다.
• 특정 영역에서의 뛰어난 성과에도 불구하고, 연구는 현재 평가 기준이 진정한 AGI에 필요한 인간 인지의 광범위성을 충분히 반영하지 못하고 있음을 경고한다.
• 결과적으로 LLM은 좁은 교육 과제에서 인간 수준 이상의 성능를 보이고 있음에도 불구하고, AGI 주장의 타당성을 검증하기 위해 더 넓은 인지 평가가 여전히 필요하다는 것을 시사한다.
• 연구 결과는 AGI가 진정으로 도달되었는지 평가하기 위해 더 종합적인 평가 프레임워크 개발의 긴급성을 부각한다.