[論文レビュー] Sparks of Artificial General Intelligence: Early experiments with GPT-4

Sébastien Bubeck, Varun Chandrasekaran+12 more|arXiv (Cornell University)|Mar 22, 2023

Artificial Intelligence in Healthcare and Education被引用数 1,528

ひとこと要約

本論文はGPT-4の初期研究を提示し、言語、数学、コーディング、視覚、医学、法学などにわたる幅広く人間レベルの能力を示していると主張し、AGIに向けた一歩であることを示唆する一方、制約と社会的含意を指摘している。

ABSTRACT

Artificial intelligence (AI) researchers have been developing and refining large language models (LLMs) that exhibit remarkable capabilities across a variety of domains and tasks, challenging our understanding of learning and cognition. The latest model developed by OpenAI, GPT-4, was trained using an unprecedented scale of compute and data. In this paper, we report on our investigation of an early version of GPT-4, when it was still in active development by OpenAI. We contend that (this early version of) GPT-4 is part of a new cohort of LLMs (along with ChatGPT and Google's PaLM for example) that exhibit more general intelligence than previous AI models. We discuss the rising capabilities and implications of these models. We demonstrate that, beyond its mastery of language, GPT-4 can solve novel and difficult tasks that span mathematics, coding, vision, medicine, law, psychology and more, without needing any special prompting. Moreover, in all of these tasks, GPT-4's performance is strikingly close to human-level performance, and often vastly surpasses prior models such as ChatGPT. Given the breadth and depth of GPT-4's capabilities, we believe that it could reasonably be viewed as an early (yet still incomplete) version of an artificial general intelligence (AGI) system. In our exploration of GPT-4, we put special emphasis on discovering its limitations, and we discuss the challenges ahead for advancing towards deeper and more comprehensive versions of AGI, including the possible need for pursuing a new paradigm that moves beyond next-word prediction. We conclude with reflections on societal influences of the recent technological leap and future research directions.

研究の動機と目的

• GPT-4の言語だけを超えた、広範で横断的な能力を示す。
• GPT-4が一般知能を示すか、または人間の性能に近い出現的挙動を示すかを評価する。
• GPT-4の限界、失敗モード、バイアスを調査し、AGIへの道の課題を概説する。
• 潜在的な汎用AIの飛躍に伴う社会的影響とガバナンスの考慮事項を議論する。

提案手法

• 言語、数学、コーディング、視覚、医療、法、心理学など、多様な領域で自然言語プロンプトを用いて初期のGPT-4インスタンスと対話する。
• GPT-4の出力を従来のモデル（例: ChatGPT）と比較して、汎用性と性能格差を評価する。
• 対象タスクを引き出して、記憶だけでなく汎用的な能力を探る（例：マルチモーダル推論、ツール使用、計画など）。
• プロンプトを変えて適応性、文体の柔軟性、問題解決アプローチを検証する。
• 制限、バイアス、失敗モードを文書化し、より深いAGI能力への障壁を特定する。

実験結果

リサーチクエスチョン

• RQ1 GPT-4は言語タスクを超えた一般的で横断的な能力を示すか？
• RQ2 タスク固有のプロンプトなしに、さまざまな領域で人間レベルの性能にどれほど近づくか？
• RQ3 GPT-4の一般知能を制約する主要な限界、失敗モード、バイアスは何か？
• RQ4 広範なAGI様相の能力を示すシステムに伴う社会的・倫理的影響は何か？

主な発見

• GPT-4は言語に加え、数学、コーディング、視覚、医学、法、心理学においても能力を示す。
• 多くのタスクでGPT-4の性能は人間レベルに近く、しばしば従来モデル（例: ChatGPT）を上回る。
• GPT-4は領域横断的に出現的で非人間的な知性と適応性のパターンを示す。
• 計画、算術、いくつかの推論タスクにおける制限を示し、完全なAGIへのギャップを浮き彫りにする。
• 高度なLLM能力に伴う誤情報、バイアス、社会的影響への顕著な懸念がある。