[論文レビュー] One Small Step for Generative AI, One Giant Leap for AGI: A Complete Survey on ChatGPT in AIGC Era

Chaoning Zhang, Chenshuang Zhang+14 more|arXiv (Cornell University)|Apr 4, 2023

Artificial Intelligence in Healthcare and Education被引用数 89

ひとこと要約

AIGC時代におけるChatGPTの網羅的調査。OpenAI、GPTの歴史、コア技術、応用、課題、そしてAGIに向けた将来展望を扱う。

ABSTRACT

OpenAI has recently released GPT-4 (a.k.a. ChatGPT plus), which is demonstrated to be one small step for generative AI (GAI), but one giant leap for artificial general intelligence (AGI). Since its official release in November 2022, ChatGPT has quickly attracted numerous users with extensive media coverage. Such unprecedented attention has also motivated numerous researchers to investigate ChatGPT from various aspects. According to Google scholar, there are more than 500 articles with ChatGPT in their titles or mentioning it in their abstracts. Considering this, a review is urgently needed, and our work fills this gap. Overall, this work is the first to survey ChatGPT with a comprehensive review of its underlying technology, applications, and challenges. Moreover, we present an outlook on how ChatGPT might evolve to realize general-purpose AIGC (a.k.a. AI-generated content), which will be a significant milestone for the development of AGI.

研究の動機と目的

• OpenAIを紹介し、AGI/AIGCの文脈におけるChatGPTの位置づけを解説する。
• ChatGPTを支える技術とコア手法（Transformer、自己回帰モデリング）を要約する。
• 科学的執筆、教育、医療などを含むChatGPTの応用を総括する。
• 技術的限界、悪用、倫理、規制を含む課題を特定する。
• 汎用的なAIGCとAGIに向けた今後の方向性を論じる。

提案手法

• GPT-4までのChatGPTに関する既存文献を統合・整理する。
• Transformerの基盤と自己回帰モデリングを形式的定義付きで説明する。
• GPTモデルの系譜（GPT-1からGPT-4）と主要な訓練・データの詳細を追跡する。
• 応用を領域別に分類する（科学的執筆、教育、医療、その他）。
• 課題と規制・倫理的考慮事項を強調し、AGI志向の展望を提示する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTを可能にする基盤技術と訓練パラダイムは何か（Transformer、自己回帰モデリング）？
• RQ2 ChatGPTはGPT-1からGPT-4へどのように進化し、どのような能力と制約があるか？
• RQ3 科学的執筆、教育、医療などの領域でのChatGPTの主な応用は何か？
• RQ4 ChatGPTの展開に伴う課題、悪用リスク、倫理的懸念、規制問題は何か？
• RQ5 汎用目的のAIGCとAGIに向けたChatGPTの描く直線は何か？

主な発見

• ChatGPT（GPT-4ベース）は多モーダル入力（テキストと画像）をサポートし、専門タスクで高い性能を発揮し、いくつかの基準で人間レベルの能力を有する。
• GPTモデルの進化（GPT-1からGPT-4）はパラメータ数・データ・能力の劇的な増加を示し、ゼロショット/少数ショット性能の向上とGPT-3.5のRLHFを含む。
• Transformerと自己回帰モデリングは現代のLLMを支え、ChatGPTは自己注意機構とデコーダのみのアーキテクチャを活用して流暢で文脈依存の生成を実現する。
• 応用は科学的執筆、データ分析、文献調査、コンテンツ生成、校正、学術ピアレビューなどに及び、効果は様々で留意点もある。
• 課題には技術的制約、悪用の可能性、倫理的懸念、規制上の配慮が含まれ、導入とガバナンスを形作る。
• 本調査は汎用的なAIGCとChatGPTの現行能力を超えるAGIの実現というより広い目標へ向けた展望を概説する。