[论文解读] Have We Reached AGI? Comparing ChatGPT, Claude, and Gemini to Human Literacy and Education Benchmarks

Mfon Akpan|arXiv (Cornell University)|Jul 11, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本研究通过将大型语言模型（LLMs）如ChatGPT、Claude和Gemini与美国的人类读写能力和教育标准进行对比，评估其是否已接近人工通用智能（AGI）。基于美国人口普查局和技术报告的数据，研究发现LLMs在本科知识和阅读理解任务中显著优于普通美国人，表明其在迈向AGI方面已取得显著进展，但要得出最终结论仍需更广泛的认知评估。

ABSTRACT

Recent advancements in AI, particularly in large language models (LLMs) like ChatGPT, Claude, and Gemini, have prompted questions about their proximity to Artificial General Intelligence (AGI). This study compares LLM performance on educational benchmarks with Americans' average educational attainment and literacy levels, using data from the U.S. Census Bureau and technical reports. Results show that LLMs significantly outperform human benchmarks in tasks such as undergraduate knowledge and advanced reading comprehension, indicating substantial progress toward AGI. However, true AGI requires broader cognitive assessments. The study highlights the implications for AI development, education, and societal impact, emphasizing the need for ongoing research and ethical considerations.

研究动机与目标

• 通过将最近的大型语言模型（LLMs）如ChatGPT、Claude和Gemini与人类教育基准进行对比，评估其是否已接近人工通用智能（AGI）。
• 利用美国人口普查局和技术报告的数据，评估LLMs在标准化美国读写能力和教育水平测量中的表现。
• 确定LLMs在与高等教育相关知识和理解任务中超越人类平均水平的程度。
• 识别当前基准的不足之处，并强调需要开展更广泛的认知评估以准确定义真正的AGI。
• 通过量化LLMs相对于人类的表现，为人工智能发展、教育政策和伦理考量提供依据。

提出的方法

• 本研究使用公开的LLMs（ChatGPT、Claude、Gemini）在标准化教育和读写能力基准上的表现数据。
• 人类表现基准数据来自美国人口普查局关于美国平均教育水平和读写能力的统计。
• 在本科水平知识和高级阅读理解等领域的LLM输出与人类平均水平进行对比分析。
• 评估聚焦于需要一般知识、推理和理解能力的任务，这些是人类认知能力的核心组成部分。
• 采用教育评估中的标准化指标量化性能，从而可与全国人类基准进行直接比较。
• 本研究强调了狭隘基准的局限性，并呼吁开展更广泛、更全面的认知评估，以评估AGI的准备程度。

实验结果

研究问题

• RQ1 当前的LLMs如ChatGPT、Claude和Gemini在教育和读写能力基准中，相较于普通美国人，超出的程度如何？
• RQ2 LLMs在需要高级阅读理解能力和一般知识的任务中，与人类表现相比如何？
• RQ3 LLMs与人类之间的表现差距对当前人工通用智能（AGI）发展轨迹有何启示？
• RQ4 目前LLMs在哪些认知领域表现良好，哪些领域仍相对于人类能力处于薄弱状态？
• RQ5 LLMs表现超越人类平均水平，对人工智能发展、教育和伦理社会影响有何意义？

主要发现

• ChatGPT、Claude和Gemini等LLMs在本科水平知识任务中显著优于普通美国人，表明其在一般教育基准测试中表现强劲。
• 在高级阅读理解任务中，LLMs展现出的表现水平超过了美国成年人的平均教育水平。
• 研究发现，LLMs在衡量一般认知能力和事实知识的标准化评估中取得高分，这些领域的表现超越了人类平均水平。
• 尽管在特定领域表现优异，本研究仍警告称，当前基准尚未完全涵盖实现真正AGI所必需的人类认知广度。
• 结果表明，虽然LLMs在狭窄的教育任务中已接近或超越人类水平，但仍需更广泛的认知评估来验证AGI的宣称。
• 研究结果强调了亟需开发更全面的评估框架，以判断是否真正达到了AGI。