[論文レビュー] A Complete Survey on Generative AI (AIGC): Is ChatGPT from GPT-4 to GPT-5 All You Need?

Chaoning Zhang, Chenshuang Zhang+15 more|arXiv (Cornell University)|Mar 21, 2023

Artificial Intelligence in Healthcare and Education被引用数 105

ひとこと要約

本論文は生成AI（AIGC）の基礎、手法、タスク、アプリケーション、課題を総覧し、GPT-era モデル（GPT-4 およびそれ以降）がテキスト、画像、動画など多様なコンテンツ生成をどのように可能にするかを検討する。

ABSTRACT

As ChatGPT goes viral, generative AI (AIGC, a.k.a AI-generated content) has made headlines everywhere because of its ability to analyze and create text, images, and beyond. With such overwhelming media coverage, it is almost impossible for us to miss the opportunity to glimpse AIGC from a certain angle. In the era of AI transitioning from pure analysis to creation, it is worth noting that ChatGPT, with its most recent language model GPT-4, is just a tool out of numerous AIGC tasks. Impressed by the capability of the ChatGPT, many people are wondering about its limits: can GPT-5 (or other future GPT variants) help ChatGPT unify all AIGC tasks for diversified content creation? Toward answering this question, a comprehensive review of existing AIGC tasks is needed. As such, our work comes to fill this gap promptly by offering a first look at AIGC, ranging from its techniques to applications. Modern generative AI relies on various technical foundations, ranging from model architecture and self-supervised pretraining to generative modeling methods (like GAN and diffusion models). After introducing the fundamental techniques, this work focuses on the technological development of various AIGC tasks based on their output type, including text, images, videos, 3D content, etc., which depicts the full potential of ChatGPT's future. Moreover, we summarize their significant applications in some mainstream industries, such as education and creativity content. Finally, we discuss the challenges currently faced and present an outlook on how generative AI might evolve in the near future.

研究の動機と目的

• AIGCを支える基礎的な手法を説明し、バックボーンアーキテクチャと自己教師付き事前学習を含む。
• 出力タイプ（テキスト、画像、動画、3D など）別のAIGCタスクとそれらの技術的進展をレビューする。
• 教育、メディア、広告、クリエイティブ分野におけるAIGCの産業用応用を要約する。
• 生成AIの課題、倫理的考慮、将来展望について論じる。

提案手法

• AIGC手法を創成技術（GANs、拡散モデル）と一般技術（Transformers、自己教師付き事前学習）の2カテゴリに分類する。
• バックボーンアーキテクチャ（RNNs、Transformers、CNNs、ViT、Swin、DeiT など）とAIGCにおける役割を説明する。
• 言語とビジョンの自己教師付き事前学習手法（例：BERT、GPT、MAE、CLIP）とクロスモーダル事前学習（CLIP、ALIGN）を要約する。
• 尤度ベースとエネルギーベースの生成モデルを説明し、GANs/拡散モデルをエネルギーベースの視点と関連づける。

実験結果

リサーチクエスチョン

• RQ1 現代のAIGCタスクを可能にする基礎的な手法は何か？
• RQ2 基盤アーキテクチャと事前学習戦略は、モダリティを超えて多様なAIGC出力をどのように支援するか？
• RQ3 AIGCタスクとアプリケーションの現状はどうなっており、将来のGPT系の変種がそれらにどう影響する可能性があるか？
• RQ4 広範なAIGC展開から生じる課題と社会的影響は何か？

主な発見

• AIGCは2つの手法クラスに基づく：創成モデル（GANs、拡散）と一般技術（Transformers、自己教師付き学習）。
• TransformersとViTsはNLPとCVの中核的なバックボーンとなり、スケーラブルなAIGCモデルを可能にしている。
• 自己教師付き事前学習とクロスモーダル学習（例：CLIP、ALIGN）は、テキストと画像タスク全体で大規模なAIGC能力にとって極めて重要である。
• AIGCタスクはテキスト生成、画像生成、さらには（動画、3D、音声、グラフ）へと広がり、テキストから画像への生成とマルチモーダル生成の分野で急速な進展を見せている。
• AIGCツールの台頭は、GPT-4-era システムのような大規模モデルを可能にするデータアクセスと計算資源に結びついている。