[论文解读] BitNet: Scaling 1-bit Transformers for Large Language Models
BitNet 引入了带 BitLinear 的 1-bit Transformer,使从头开始训练成为可能,权重二值化的同时保持有竞争力的 perplexity 并实现相对于 FP16 和后训练 8 位基线的显著内存与能量节省。它还表现出与全精度 Transformer 相似的缩放定律。
The increasing size of large language models has posed challenges for deployment and raised concerns about environmental impact due to high energy consumption. In this work, we introduce BitNet, a scalable and stable 1-bit Transformer architecture designed for large language models. Specifically, we introduce BitLinear as a drop-in replacement of the nn.Linear layer in order to train 1-bit weights from scratch. Experimental results on language modeling show that BitNet achieves competitive performance while substantially reducing memory footprint and energy consumption, compared to state-of-the-art 8-bit quantization methods and FP16 Transformer baselines. Furthermore, BitNet exhibits a scaling law akin to full-precision Transformers, suggesting its potential for effective scaling to even larger language models while maintaining efficiency and performance benefits.
研究动机与目标
- 在不牺牲性能的前提下降低大型语言模型的内存和能量成本。
- 引入可穹插的 1-bit Transformer 组件(BitLinear),可从头训练。
- 展示 BitNet 相对于 FP16 和后训练量化基线的稳定性、可扩展性和效率。
- 显示 BitNet 遵循类似于全精度 Transformer 的缩放定律,并能够有效扩展到更大的模型。
提出的方法
- 将 nn.Linear 替换为 BitLinear,以在保持优化器状态和梯度为高精度的同时以二值权重运行。
- 通过 sign(W - alpha) 将权重二值化为 ±1,并中心化为零均值;二值化后应用缩放因子 beta。
- 在训练过程中将激活量用 absmax 量化到 8 位,并进行张量级量化;在推理时对每个 token 进行量化。
- 在激活量量化前应用 LayerNorm(SubLN)以在量化路径中稳定方差。
- 实现 Group Quantization 与 Group Normalization,以在不需要额外通信的情况下实现高效模型并行。
- 使用直通近似(STE)对不可微分步骤进行训练,并采用混合精度(权重/激活低精度;梯度/优化器高精度);使用大学习率以提高收敛性。
实验结果
研究问题
- RQ1用量化感知训练训练得到的 1-bit 权重能否在大型语言模型上实现具有竞争力的 perplexity 和下游任务性能?
- RQ2随着模型规模扩大,BitNet 相对于 FP16 Transformer 与后训练量化方法在能耗和内存占用方面有何差异?
- RQ3BitNet 是否呈现接近全精度 Transformer 的缩放定律,其推理能量的缩放行为如何?
- RQ4哪些训练稳定因素(如 SubLN、absmax 激活量化)对实现 1-bit 权重的收敛至关重要?
主要发现
- BitNet 在具有竞争力的 perplexity 和下游任务精度方面表现良好,同时在相较于 FP16 Transformer 和 8-bit 基线的内存和能量使用方面显著降低。
- BitNet 的能耗节省在矩阵乘法操作上尤为显著,因为权重为 1-bit 且只有缩放因子参与乘法。
- BitNet 遵循与全精度 Transformer 相似的缩放定律,其相对于 FP16 的推断性能差距在模型规模增大时缩小。
- BitNet 在相同学习率设置下比 FP16 具有更高的训练稳定性,能够使用更大的学习率并实现更快的收敛。
- 零-shot 与少量-shot 下游任务的性能随计算预算增长而提升,显示 BitNet 在较大规模下具有更高的推理效率。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。