[论文解读] Do Generative Large Language Models need billions of parameters?

Sia Gholami, Marwan Omar|arXiv (Cornell University)|Sep 12, 2023

Topic Modeling被引用 4

一句话总结

本文提出 GPT-Efficio，一种高度高效的大型语言模型，通过嵌入层分解和跨层参数共享显著减少参数量，在参数大幅减少的情况下仍实现具有竞争力的性能，表明十亿参数模型并非实现强大生成能力的必要条件。

ABSTRACT

This paper presents novel systems and methodologies for the development of efficient large language models (LLMs). It explores the trade-offs between model size, performance, and computational resources, with the aim of maximizing the efficiency of these AI systems. The research explores novel methods that allow different parts of the model to share parameters, reducing the total number of unique parameters required. This approach ensures that the model remains compact without sacrificing its ability to learn and represent complex language structures. This study provides valuable insights and tools for creating more efficient and effective LLMs, contributing to a more sustainable and accessible future for AI language modeling.

研究动机与目标

• 探究生成式大语言模型是否真的需要数十亿参数才能实现高性能。
• 通过最小化参数数量，降低训练和部署大模型带来的计算与能耗成本。
• 通过新颖的参数共享与分解技术，提升模型效率、可访问性与可持续性。
• 实现在资源受限设备和低资源环境下的高级自然语言处理能力部署。
• 通过在各层和嵌入组件间战略性地共享参数，平衡模型表达能力与复杂度。

提出的方法

• 应用嵌入层分解技术，将高维嵌入分解为低秩矩阵，从而减少输入投影层的参数量。
• 在多个 Transformer 层之间实施参数共享，将不同层的权重绑定，以减少唯一参数的数量。
• 在各层之间使用共享的注意力与前馈网络结构，最大限度减少模型架构中的冗余。
• 采用改进的训练目标，在参数量减少的情况下仍保持性能，辅以精细的初始化与正则化策略。
• 引入一种机制，根据模型深度和任务复杂度控制参数共享的程度。
• 通过消融实验，在多种自然语言处理基准上对比分析共享参数与独立参数的表现。

实验结果

研究问题

• RQ1 通过战略性参数共享，生成式 Transformer 模型是否能在参数显著减少的情况下仍保持强大性能？
• RQ2 嵌入层分解对大语言模型的模型容量与推理质量有何影响？
• RQ3 在跨层共享参数时，模型效率、训练稳定性与性能之间的权衡关系如何？
• RQ4 在不牺牲泛化能力或可控性的情况下，参数共享能在多大程度上降低计算与能耗成本？
• RQ5 在哪些自然语言处理任务中，参数共享能带来最显著的效率提升而不会导致性能下降？

主要发现

• 所提出的 GPT-Efficio 模型在标准自然语言处理基准上实现了具有竞争力的性能，尽管其参数量远低于标准的十亿参数模型。
• 嵌入层分解使输入投影层的参数数量减少高达 70%，且性能下降不显著。
• 跨层参数共享使总唯一参数量减少约 40%-50%，同时在文本生成与问答任务中保持了具有竞争力的准确率。
• 与无参数共享但架构相同的基线模型相比，该模型展现出更快的训练收敛速度和更低的推理延迟。
• 实证结果表明，参数共享提升了在低资源和分布外数据上的泛化能力，降低了过拟合风险。
• 消融实验确认，当仅在注意力与前馈子层中应用参数共享时效果最佳，而在所有组件中应用则收益递减。