[論文レビュー] ChatGPT is not all you need. A State of the Art Review of large Generative AI models

Roberto Gozalo-Brizuela, Eduardo C. Garrido‐Merchán|arXiv (Cornell University)|Jan 11, 2023

Artificial Intelligence in Healthcare and Education被引用数 243

ひとこと要約

モダリティを横断する大規模生成AIモデルを分類・分析した最新鋭の総合的なレビューで、主要なモデル・開発者・アプリケーション・制限事項を概説します。

ABSTRACT

During the last two years there has been a plethora of large generative models such as ChatGPT or Stable Diffusion that have been published. Concretely, these models are able to perform tasks such as being a general question and answering system or automatically creating artistic images that are revolutionizing several sectors. Consequently, the implications that these generative models have in the industry and society are enormous, as several job positions may be transformed. For example, Generative AI is capable of transforming effectively and creatively texts to images, like the DALLE-2 model; text to 3D images, like the Dreamfusion model; images to text, like the Flamingo model; texts to video, like the Phenaki model; texts to audio, like the AudioLM model; texts to other texts, like ChatGPT; texts to code, like the Codex model; texts to scientific texts, like the Galactica model or even create algorithms like AlphaTensor. This work consists on an attempt to describe in a concise way the main models are sectors that are affected by generative AI and to provide a taxonomy of the main generative models published recently.

研究の動機と目的

• 主要な生成AIモデルの簡潔な分類を提供する
• 各カテゴリのモデルとその応用を分析する
• 産業・社会の各セクターにおける示唆を要約する
• 制限、課題、および倫理的配慮を論じる
• 将来の研究・作業の方向性を提案する

提案手法

• 入力-出力マッピングに基づき、9カテゴリの分類法にモデルを整理する
• 各カテゴリの代表的なモデルを説明する（例：テキスト→画像、テキスト→動画、テキスト→音声、テキスト→テキスト）
• 産業ごとの導入状況と開発者エコシステムを比較する
• データ、計算資源、バイアス、倫理などの技術的でない側面を強調する
• アプリケーションとコンテンツ生成に焦点を当てるため、基盤アーキテクチャの詳細な深掘りは除外する
• 結論と今後の研究課題セクションを提供する

実験結果

リサーチクエスチョン

• RQ1 大規模生成AIモデルの支配的なカテゴリとそれらの入力-出力マッピングは何か？
• RQ2 各カテゴリを代表するモデルはどれで、誰が開発しているのか？
• RQ3 これらのモデルの主要な応用と産業・社会への影響は何か？
• RQ4 これらのモデルに関連する主要な制限・リスク・倫理的懸念は何か？

主な発見

• 本論文は、入力-出力マッピングに基づいて整理された9つのカテゴリからなる生成AIモデルの分類法を提案している。
• テキスト→画像、テキスト→3D、画像→テキスト、テキスト→動画、テキスト→音声、テキスト→テキスト、テキスト→コード、テキスト→サイエンス、その他のモデルなど、多様なモダリティを網羅している。
• 対象モデルの多くは2022年に公開されたが、例外もある（例：LaMDAは2021年、Museは2023年）。
• モデル展開を支配する組織は6つであり、膨大な計算資源と専門チームの必要性を反映している。
• 代表的なモデルにはDALL·E 2、Imagen、Stable Diffusion、Muse、Flamingo、VisualGPT、Dreamfusion、Magic3D、Phenaki、Soundify、AudioLM、Jukebox、Whisper、Codex、Alphacode、Galactica、Minervaなどが挙げられ、芸術から科学に至る幅広い適用領域を示している。
• データバイアス、膨大なデータと計算資源の要件、真の理解の欠如、倫理的懸念（例：テキスト→動画のディープフェイク）など、重要な制限を論じている。