[论文解读] Foundation models in brief: A historical, socio-technical focus

Johannes Schneider|arXiv (Cornell University)|Dec 17, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文将基础模型视为人工智能领域的一项变革性力量，强调其规模、涌现的上下文学习能力以及社会技术影响。与以往的深度学习模型相比，本文指出其具备广泛适应性、人工智能开发的同质化以及资源密集型训练等特点，同时指出了权力集中、隐私和可持续性方面的风险。

ABSTRACT

Foundation models can be disruptive for future AI development by scaling up deep learning in terms of model size and training data's breadth and size. These models achieve state-of-the-art performance (often through further adaptation) on a variety of tasks in domains such as natural language processing and computer vision. Foundational models exhibit a novel {emergent behavior}: {In-context learning} enables users to provide a query and a few examples from which a model derives an answer without being trained on such queries. Additionally, {homogenization} of models might replace a myriad of task-specific models with fewer very large models controlled by few corporations leading to a shift in power and control over AI. This paper provides a short introduction to foundation models. It contributes by crafting a crisp distinction between foundation models and prior deep learning models, providing a history of machine learning leading to foundation models, elaborating more on socio-technical aspects, i.e., organizational issues and end-user interaction, and a discussion of future research.

研究动机与目标

• 澄清基础模型与以往深度学习模型之间的概念性区别。
• 追溯导致基础模型出现的机器学习历史演变过程。
• 分析社会技术维度，包括组织结构、终端用户交互以及权力动态。
• 识别与可扩展性、治理和可持续性相关的关键挑战及未来研究方向。

提出的方法

• 通过历史视角分析基础模型，追溯其从早期深度学习到现代大规模架构的演变脉络。
• 研究涌现行为，如上下文学习，即模型在无需微调的情况下，通过提示（prompt）推断任务。
• 通过三条路径研究同质化现象：对少数基础模型的依赖、有限的训练数据来源以及少数企业的控制。
• 评估从监督学习向自监督预训练的转变，以 BERT 的掩码语言建模为例。
• 评估社会技术风险，包括隐私侵犯、版权问题以及因计算和数据壁垒导致的访问受限。
• 提出治理与可持续性框架，包括绿色 AI 原则，如数据与计算的复用和减少。

实验结果

研究问题

• RQ1 基础模型在技术和概念上与早期深度学习模型有何不同？
• RQ2 上下文学习对人机交互及基于提示的任务执行有何影响？
• RQ3 模型同质化如何影响人工智能开发中的权力分配、创新和访问权？
• RQ4 基础模型相关的关键社会技术风险有哪些，包括隐私、版权和责任问题？
• RQ5 为应对资源密集性并推动可持续的人工智发展，需要哪些研究方向？

主要发现

• 基础模型展现出涌现的上下文学习能力，可通过自然语言提示实现零样本任务执行，即使对于未显式训练过的算术任务亦然。
• 在数学推理方面表现仍有限——尽管在两位数加法上表现良好，但三位数运算的准确率已低于 80%。
• 同质化正通过依赖少数大型模型、数据集和企业供应商而发生，导致控制权集中化和模型多样性下降。
• 在大规模无标注数据上进行自监督预训练，可实现广泛的下游应用，如 BERT 在无需任务特定微调的情况下成功应用于各类自然语言处理任务。
• 像 GPT-3 这类模型的训练成本估计达数百万美元，仅限于少数资源雄厚的组织使用。
• 基础模型带来了新型法律与伦理挑战，包括人工智能生成内容的责任归属、知识产权问题，以及人工智能言论的宪法第一修正案影响。