[论文解读] ChatGPT is not all you need. A State of the Art Review of large Generative AI models

Roberto Gozalo-Brizuela, Eduardo C. Garrido‐Merchán|arXiv (Cornell University)|Jan 11, 2023

Artificial Intelligence in Healthcare and Education被引用 243

一句话总结

一份全面的前沿综述，对跨模态的大型生成式人工智能模型进行分类法研究与分析，概述关键模型、开发者、应用与局限。

ABSTRACT

During the last two years there has been a plethora of large generative models such as ChatGPT or Stable Diffusion that have been published. Concretely, these models are able to perform tasks such as being a general question and answering system or automatically creating artistic images that are revolutionizing several sectors. Consequently, the implications that these generative models have in the industry and society are enormous, as several job positions may be transformed. For example, Generative AI is capable of transforming effectively and creatively texts to images, like the DALLE-2 model; text to 3D images, like the Dreamfusion model; images to text, like the Flamingo model; texts to video, like the Phenaki model; texts to audio, like the AudioLM model; texts to other texts, like ChatGPT; texts to code, like the Codex model; texts to scientific texts, like the Galactica model or even create algorithms like AlphaTensor. This work consists on an attempt to describe in a concise way the main models are sectors that are affected by generative AI and to provide a taxonomy of the main generative models published recently.

研究动机与目标

• 提供对主要生成式AI模型的简明分类法
• 分析每一类模型及其应用
• 总结跨行业与社会领域的影响
• 讨论局限性、挑战与伦理考量
• 提出未来工作与研究方向

提出的方法

• 基于输入-输出映射将模型组织为九类分类法
• 描述每个类别中的代表性模型（如文本到图像、文本到视频、文本到音频、文本到文本）
• 比较跨行业的部署情景和开发者生态系统
• 突出数据、计算、偏见与伦理等非技术方面
• 排除对底层架构的深入探讨，聚焦于应用与内容生成
• 提供结论与未来工作部分”] ,
• research_questions':['大型生成式AI模型及其输入-输出映射的主导类别有哪些？','每个类别有哪些典型模型代表，以及由谁开发？','这些模型的关键应用及对行业与社会的影响是什么？','与这些模型相关的主要局限性、风险与伦理问题是什么？'] ,
• key_findings':['本文提出了一个按输入-输出映射组织的九类生成式AI模型分类法。','它涵盖了包括文本到图像、文本到三维、图像到文本、文本到视频、文本到音频、文本到文本、文本到代码、文本到科学等在内的多模态模型，以及其他模型。','大多数覆盖的模型在2022年发布，个别例外（如LaMDA在2021年，Muse在2023年）。','六个机构主导模型部署，反映出对巨量计算和专业团队的需求。','代表性模型包括DALL·E 2、Imagen、Stable Diffusion、Muse、Flamingo、VisualGPT、Dreamfusion、Magic3D、Phenaki、Soundify、AudioLM、Jukebox、Whisper、Codex、Alphacode、Galactica和Minerva，展示从艺术到科学的广泛应用领域。','本文讨论了诸如数据偏见、海量数据与计算需求、缺乏真正理解以及伦理问题（如文本到视频中的深度伪造）等重要局限性。'],
• table_headers:[]
• table_rows:[]

实验结果

研究问题

• RQ1 大型生成式AI模型及其输入-输出映射的主导类别有哪些？
• RQ2 每个类别有哪些典型模型代表，以及由谁开发？
• RQ3 这些模型的关键应用及对行业与社会的影响是什么？
• RQ4 与这些模型相关的主要局限性、风险与伦理问题是什么？

主要发现

• 本文提出了一个按输入-输出映射组织的九类生成式AI模型分类法。
• 它涵盖了包括文本到图像、文本到三维、图像到文本、文本到视频、文本到音频、文本到文本、文本到代码、文本到科学等在内的多模态模型，以及其他模型。
• 大多数覆盖的模型在2022年发布，个别例外（如LaMDA在2021年，Muse在2023年）。
• 六个机构主导模型部署，反映出对巨量计算和专业团队的需求。
• 代表性模型包括DALL·E 2、Imagen、Stable Diffusion、Muse、Flamingo、VisualGPT、Dreamfusion、Magic3D、Phenaki、Soundify、AudioLM、Jukebox、Whisper、Codex、Alphacode、Galactica和Minerva，展示从艺术到科学的广泛应用领域。
• 本文讨论了诸如数据偏见、海量数据与计算需求、缺乏真正理解以及伦理问题（如文本到视频中的深度伪造）等重要局限性。