[論文レビュー] Have We Reached AGI? Comparing ChatGPT, Claude, and Gemini to Human Literacy and Education Benchmarks

Mfon Akpan|arXiv (Cornell University)|Jul 11, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

本研究では、ChatGPT、Claude、Geminiなどの大規模言語モデル（LLM）が、米国の人的リテラシーおよび教育基準と比較することで、人工汎用知能（AGI）に近づいているかどうかを評価する。米国国勢局および技術報告書のデータを用いて、LLMは学士課程レベルの知識および読解理解タスクにおいて平均的な米国人を著しく上回っていることが判明した。これはAGIへの顕著な進展を示唆するが、明確な結論を得るためにはより広範な認知的評価が不可欠である。

ABSTRACT

Recent advancements in AI, particularly in large language models (LLMs) like ChatGPT, Claude, and Gemini, have prompted questions about their proximity to Artificial General Intelligence (AGI). This study compares LLM performance on educational benchmarks with Americans' average educational attainment and literacy levels, using data from the U.S. Census Bureau and technical reports. Results show that LLMs significantly outperform human benchmarks in tasks such as undergraduate knowledge and advanced reading comprehension, indicating substantial progress toward AGI. However, true AGI requires broader cognitive assessments. The study highlights the implications for AI development, education, and societal impact, emphasizing the need for ongoing research and ethical considerations.

研究の動機と目的

• ChatGPT、Claude、Geminiなどの最近の大規模言語モデル（LLM）が、人的教育基準と比較することで、人工汎用知能（AGI）に近づいているかどうかを評価すること。
• 米国国勢局および技術報告書のデータを用いて、LLMの能力を米国のリテラシーおよび教育到達度の標準化された測定基準と比較すること。
• LLMが大学教育に必要な知識および理解タスクにおいて、人間の平均をどの程度上回っているかを特定すること。
• 現在のベンチマークのギャップを特定し、真のAGIを定義するためのより広範な認知的評価の必要性を強調すること。
• LLMの性能を人的性能と比較して数量化することで、AI開発、教育政策、倫理的配慮を支援すること。

提案手法

• 本研究では、LLM（ChatGPT、Claude、Gemini）が標準化された教育およびリテラシーのベンチマークで示したパフォーマンスに関する公開データを用いる。
• 人的パフォーマンスのベンチマークは、米国国勢局が提供する米国における平均的な教育到達度およびリテラシー水準のデータに基づく。
• 学士課程レベルの知識および高度な読解理解の分野において、LLMの出力と人的平均との間で比較分析を実施する。
• 評価は、一般知識、推論、理解を要するタスクに焦点を当て、人間の認知能力のコアな要素を反映する。
• 教育評価から得られる標準化された指標を用いてパフォーマンスを数量化し、国家的な人的ベンチマークと直接比較可能にする。
• 本研究では、狭義のベンチマークの限界を強調し、AGIの準備状況を評価するためのより広範かつ包括的な認知的評価の必要性を訴える。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT、Claude、Geminiなどの現在のLLMは、どの程度平均的な米国人を教育およびリテラシーのベンチマークで上回っているか？
• RQ2 高度な読解理解および一般知識を要するタスクにおいて、LLMは人的パフォーマンスとどのように比較されるか？
• RQ3 LLMと人間のパフォーマンスのギャップが、人工汎用知能（AGI）への現在のトレンドを示唆するのはどのような点か？
• RQ4 LLMが現在うまく満たしている認知的領域は何か。一方で、人間の能力と比較して未発達な領域は何か？
• RQ5 LLMのパフォーマンスが人間の平均を上回るという事実が、AI開発、教育、社会的倫理に与える影響は何か？

主な発見

• ChatGPT、Claude、GeminiなどのLLMは、学士課程レベルの知識タスクにおいて平均的な米国人を著しく上回っており、一般教育ベンチマークでの強力なパフォーマンスを示している。
• 高度な読解理解タスクにおいて、LLMは米国成人の平均教育到達度を上回るパフォーマンスを示している。
• 本研究では、一般認知能力および事実的知識を測定する標準化された評価で、LLMが人間の平均を上回る高いスコアを達成していることが判明した。
• 特定の分野での優れたパフォーマンスにもかかわらず、本研究は、現在のベンチマークが真のAGIに必要な人間の認知の広がりを完全に捉えていないと警告している。
• 結果として、LLMは特定の教育的タスクにおいて人間水準に近づいており、あるいはそれを上回っているが、AGIの主張を検証するためには、より広範な認知的評価が依然として必要であると示唆している。
• 研究結果は、AGIが真に達成されたかどうかを評価するための、より包括的な評価フレームワークの開発の緊急性を強調している。