[论文解读] Learning K-way D-dimensional Discrete Code For Compact Embedding Representations

Ting Chen, Martin Renqiang Min+1 more|arXiv (Cornell University)|Nov 8, 2017

Topic Modeling参考文献 28被引用 11

一句话总结

本文提出KD编码，一种K进制D维离散码方案，用于替代传统one-hot编码进行符号嵌入，实现参数量的对数级增长而非线性增长。通过使用松弛的随机梯度下降学习语义上合理的离散码，该方法在语言建模中将嵌入参数量减少97%，同时保持或提升性能。

ABSTRACT

Embedding methods such as word embedding have become pillars for many applications containing discrete structures. Conventional embedding methods directly associate each symbol with a continuous embedding vector, which is equivalent to applying linear transformation based on "one-hot" encoding of the discrete symbols. Despite its simplicity, such approach yields number of parameters that grows linearly with the vocabulary size and can lead to overfitting. In this work we propose a much more compact K-way D-dimensional discrete encoding scheme to replace the "one-hot" encoding. In "KD encoding", each symbol is represented by a $D$-dimensional code, and each of its dimension has a cardinality of $K$. The final symbol embedding vector can be generated by composing the code embedding vectors. To learn the semantically meaningful code, we derive a relaxed discrete optimization technique based on stochastic gradient descent. By adopting the new coding system, the efficiency of parameterization can be significantly improved (from linear to logarithmic), and this can also mitigate the over-fitting problem. In our experiments with language modeling, the number of embedding parameters can be reduced by 97\% while achieving similar or better performance.

研究动机与目标

• 解决基于传统one-hot编码的嵌入方法中参数量线性增长的问题，该问题阻碍了可扩展性并增加了过拟合风险。
• 开发一种更紧凑高效的编码方案，在保持语义表达能力的同时减少模型参数。
• 通过可微分松弛的离散优化方法，从数据中学习语义上合理的离散码。
• 使大规模嵌入模型能够在内存受限设备（如移动平台）上部署。
• 通过用高利用率的离散码系统替代one-hot编码的近零效率，提升码空间利用率。

提出的方法

• 提出KD编码：每个符号由D维码表示，其中每个维度有K种可能取值，构成K^D的码空间。
• 通过可微分变换函数f(·)组合各码维度的已学习嵌入，生成符号嵌入。
• 使用基于随机梯度下降的松弛离散优化技术，结合直通估计器（STE）和温度调度，实现对离散码的反向传播。
• 通过端到端学习训练码映射函数φ(s)，将其存储为哈希表以实现快速查找。
• 将参数量从O(Nd)降低至O((K/log K)d′log N + C)，实现相对于词表大小的对数级缩放。
• 应用温度退火策略以稳定训练并提升离散码学习的收敛性。

实验结果

研究问题

• RQ1 具有K进制D维码的离散码系统是否能显著减少嵌入层的参数量，同时保持性能？
• RQ2 K和D的选择如何影响学习到的嵌入质量与码的语义？
• RQ3 对离散优化的可微分松弛是否能有效从数据中学习到有意义且语义一致的码？
• RQ4 KD编码是否能缓解低资源或长尾词表场景下的过拟合问题？
• RQ5 在松弛优化过程中，温度调度如何影响码的稳定性和收敛性？

主要发现

• 所提出的KD编码在语言建模任务中将嵌入参数量减少了97%，同时性能与标准one-hot编码相当或更优。
• 当K=6且D=4时，模型学习到的离散码能将语义相似的词分组——例如，与时间相关的词如'week'和'month'被分配到相似的码。
• 实验表明，即使K^D ≫ N，K或D过小仍会降低性能，表明码的冗余性有助于学习。
• 在松弛优化过程中采用温度调度，相比固定温度或连续码近似，能实现更好的收敛性和更稳定的码分配。
• 该方法实现了极高的码空间利用率：当N=10,000、K=2、D=100时，码空间效率比one-hot编码高出2^9900倍。
• 学习到的码映射函数φ(s)成功捕捉了语义相似性，这通过在合成数据和真实GloVe嵌入上的聚类结果得到验证。