[论文解读] word2ket: Space-efficient Word Embeddings inspired by Quantum Entanglement

Aliakbar Panahi, Seyran Saeedi+1 more|arXiv (Cornell University)|Nov 12, 2019

Quantum Computing Algorithms and Architecture被引用 10

一句话总结

本文提出了 word2ket 和 word2ketXS，这两种基于量子张量积空间的高效压缩词嵌入方法，可将嵌入存储空间减少高达 100,000 倍，且精度损失极小。通过将词嵌入表示为较小向量的低秩张量积，该方法在训练和推理过程中显著节省内存，同时在自然语言处理任务中保持高性能。

ABSTRACT

Deep learning natural language processing models often use vector word embeddings, such as word2vec or GloVe, to represent words. A discrete sequence of words can be much more easily integrated with downstream neural layers if it is represented as a sequence of continuous vectors. Also, semantic relationships between words, learned from a text corpus, can be encoded in the relative configurations of the embedding vectors. However, storing and accessing embedding vectors for all words in a dictionary requires large amount of space, and may stain systems with limited GPU memory. Here, we used approaches inspired by quantum computing to propose two related methods, {\\em word2ket} and {\\em word2ketXS}, for storing word embedding matrix during training and inference in a highly efficient way. Our approach achieves a hundred-fold or more reduction in the space required to store the embeddings with almost no relative drop in accuracy in practical natural language processing tasks.

研究动机与目标

• 解决大规模词嵌入矩阵在深度学习自然语言处理模型中的高内存占用问题。
• 在不显著降低精度的前提下，减少词嵌入的存储空间和 GPU 显存需求。
• 探索受量子启发的张量积表示方法，以高效压缩密集词嵌入矩阵。
• 通过最小化嵌入矩阵大小，实现在资源受限硬件上的高效训练与推理。
• 在多个自然语言处理基准测试中评估内存节省与模型性能之间的权衡。

提出的方法

• 利用受量子启发的希尔伯特空间构造，将完整的 $d \times p$ 词嵌入矩阵表示为较小的低秩分量向量的张量积。
• 使用秩-1 和秩-2 张量分解（word2ket）将嵌入压缩为每词 $O(\log d)$ 个参数。
• 提出 word2ketXS，一种高阶张量分解（最高至四阶），通过联合编码所有词嵌入实现更高效的压缩。
• 仅使用少量小矩阵 $F_{jk}$ 编码完整嵌入矩阵，将参数数量从 $d \times p$ 减少至 $O(\log d)$。
• 在训练和推理过程中均应用张量积分解以近似原始嵌入矩阵。
• 利用张量积空间的结构，在大幅减少存储空间的同时保持词之间的语义关系。

实验结果

研究问题

• RQ1 受量子启发的张量积分解能否在不造成显著精度损失的前提下，实现对词嵌入矩阵的大幅内存节省？
• RQ2 在多个基准测试中，使用 word2ket 和 word2ketXS 的自然语言处理模型性能与标准词嵌入相比如何？
• RQ3 在 word2ketXS 中，随着张量阶数的增加，压缩比与模型精度之间的权衡如何？
• RQ4 新嵌入方法的计算开销与标准训练和推理相比如何？
• RQ5 该方法在大规模词表规模下（例如 $d = 10^5$）是否仍能保持下游任务中的语义保真度？

主要发现

• word2ketXS 在 SQuAD 数据集上实现了高达 100,000 倍的嵌入存储空间压缩，F1 分数相对下降不足 3%。
• 在 IMDB 情感分类任务中，尽管嵌入参数数量减少了 1,000 倍，word2ketXS 仍保持了与基线模型相差不超过 0.5% 的测试准确率。
• 对于 SQuAD 任务，1000 倍的存储压缩仅导致 F1 分数下降 0.5 分，表明方法对压缩具有极强的鲁棒性。
• 训练时间从基线的 5.8 小时增加至 9 小时（四阶 word2ketXS），但模型训练动态基本保持不变。
• 即使在大规模词表规模下，该方法仍表现出极高的压缩效率，四阶张量分解实现了接近 $10^5$ 倍的存储节省。
• 与量化、剪枝和位编码等现有压缩技术相比，该方法在空间节省效率方面表现更优。