[论文解读] Word2Bits - Quantized Word Vectors

Maximilian Lam|arXiv (Cornell University)|Mar 15, 2018

Topic Modeling参考文献 27被引用 24

一句话总结

本文提出 Word2Bits，一种通过在 Word2Vec 损失中直接集成量化函数，仅用每参数 1–2 位来训练高质量词向量的方法。该方法相比 32 位向量将内存使用量减少了 8–16 倍，并且在词相似度和问答任务上出人意料地优于全精度向量，同时作为正则化器，有效缓解了过拟合问题。

ABSTRACT

Word vectors require significant amounts of memory and storage, posing issues to resource limited devices like mobile phones and GPUs. We show that high quality quantized word vectors using 1-2 bits per parameter can be learned by introducing a quantization function into Word2Vec. We furthermore show that training with the quantization function acts as a regularizer. We train word vectors on English Wikipedia (2017) and evaluate them on standard word similarity and analogy tasks and on question answering (SQuAD). Our quantized word vectors not only take 8-16x less space than full precision (32 bit) word vectors but also outperform them on word similarity tasks and question answering.

研究动机与目标

• 开发一种学习紧凑且高质量词向量的方法，其内存和存储需求显著低于标准的 32 位词向量。
• 解决后训练压缩技术的局限性，后者会增加计算开销并可能降低性能。
• 探究是否在损失函数中直接引入量化训练，能够提升在内在和外在 NLP 任务上的泛化能力与性能。
• 评估量化训练是否起到正则化作用，从而减少 Word2Vec 中的过拟合，尤其是在小规模数据集上。

提出的方法

• 在 Word2Vec 损失中引入可微分的量化函数，实现低比特词向量（每参数 1–2 位）的端到端训练。
• 采用虚拟量化方法——使用全精度梯度进行训练，但约束参数值，而非使用低精度算术的物理量化。
• 在损失中使用符号函数（1 位时）或四层量化函数（2 位时）作为可微分代理，使反向传播能够通过离散值。
• 以连续词袋（CBOW）结合负采样作为基础架构，将量化函数嵌入向量更新过程中。
• 在大规模文本（2017 年英文维基百科）上进行训练，并在标准的词相似度、类比和 SQuAD 问答基准上进行评估。
• 使用标准超参数（窗口大小、负采样、下采样、最小词频），学习率线性衰减，训练轮数和维度可调。

实验结果

研究问题

• RQ1 能否通过端到端训练，仅用每参数 1–2 位来学习高质量的词向量？
• RQ2 与全精度训练相比，在损失函数中引入量化函数是否能提升内在和外在 NLP 任务的性能？
• RQ3 量化过程是否起到正则化作用，从而减少 Word2Vec 中的过拟合，尤其是在小规模数据集上？
• RQ4 尽管比特精度较低，量化词向量是否在下游任务（如问答）中泛化能力更强？
• RQ5 在不同比特深度下，词类比任务与词相似度任务的性能之间是否存在权衡？

主要发现

• 使用每参数 1 位的量化词向量，内存仅为 32 位向量的 1/16，且在词相似度任务上优于全精度向量（例如，在 text8 上为 76.84 vs. 76.64）。
• 在 SQuAD 问答基准上，1 位和 2 位词向量的性能高于 32 位向量，表明其在外部任务中具有更好的泛化能力。
• 全精度 Word2Vec 在 100MB 维基百科子集上，随着训练轮数增加和向量维度提高，显现出过拟合迹象，而量化训练则保持稳定。
• 1 位和 2 位向量在 Google 类比任务上的得分分别为 76.84 和 77.04，略低于 32 位基线（77.12），表明类比任务存在性能权衡。
• 全精度向量在高维情况下参数值容易‘爆炸’，而量化训练中未观察到此问题，表明优化稳定性有所提升。
• 结果表明，内在任务（如词相似度）的性能无法预测在外在任务（如 SQuAD）上的表现，验证了先前关于任务特异性泛化性的发现。