[论文解读] Deep Hash Embedding for Large-Vocab Categorical Feature Representations.

Wang-Cheng Kang, Derek Zhiyuan Cheng+5 more|arXiv (Cornell University)|Oct 21, 2020

Caching and Content Delivery参考文献 50被引用 4

一句话总结

本文提出深度哈希嵌入（DHE），一种无冲突、无存储的框架，通过深度神经网络利用确定性、非独热编码的哈希编码实时生成嵌入。DHE 在大规模词汇量的类别特征上实现了最先进性能，模型尺寸显著减小，且 AUC 与独热编码相当。

ABSTRACT

Embedding learning for large-vocabulary categorical features (e.g. user/item IDs, and words) is crucial for deep learning, and especially neural models for recommendation systems and natural language understanding tasks. Typically, the model creates a huge embedding table that each row represents a dedicated embedding vector for every feature value. In practice, to handle new (i.e., out-of-vocab) feature values and reduce the storage cost, the hashing trick is often adopted, that randomly maps feature values to a smaller number of hashing buckets. Essentially, thess embedding methods can be viewed as 1-layer wide neural networks with one-hot encodings. In this paper, we propose an alternative embedding framework Deep Hash Embedding (DHE), with non-one-hot encodings and a deep neural network (embedding network) to compute embeddings on the fly without having to store them. DHE first encodes the feature value to a dense vector with multiple hashing functions and then applies a DNN to generate the embedding. DHE is collision-free as the dense hashing encodings are unique identifiers for both in-vocab and out-of-vocab feature values. The encoding module is deterministic, non-learnable, and free of storage, while the embedding network is updated during the training time to memorize embedding information. Empirical results show that DHE outperforms state-of-the-art hashing-based embedding learning algorithms, and achieves comparable AUC against the standard one-hot encoding, with significantly smaller model sizes. Our work sheds light on design of DNN-based alternative embedding schemes for categorical features without using embedding table lookup.

研究动机与目标

• 解决传统嵌入表在大规模词汇量类别特征中面临的高存储成本和词汇外（OOV）挑战。
• 消除对存储大型嵌入表的需求，同时保持高性能。
• 设计一种动态生成嵌入而无需查表的框架，结合深度学习与哈希技术。
• 在大幅减小模型尺寸的同时，实现与独热编码相当的性能。

提出的方法

• DHE 使用多个哈希函数将特征值编码为唯一的密集向量，作为非独热标识符。
• 这些密集哈希编码被输入到一个深度神经网络（嵌入网络）中，该网络在训练过程中学习生成最终嵌入。
• 编码模块为确定性且不可学习，确保词表内和词表外值均具有无冲突的表示。
• 嵌入网络通过端到端训练，基于哈希编码输入记忆并生成准确的嵌入。
• 该框架通过实时计算嵌入避免了嵌入表存储，从而减小内存占用。
• 该方法设计为与现有深度学习模型兼容，尤其适用于推荐系统和自然语言处理系统。

实验结果

研究问题

• RQ1 基于哈希的框架是否能在不存储大型嵌入表的情况下维持性能，同时生成嵌入？
• RQ2 在准确性和效率方面，基于确定性哈希编码训练的深度神经网络与标准独热编码或基于哈希的基线相比表现如何？
• RQ3 所提出的方法是否能有效处理词汇外特征值而不导致性能下降？
• RQ4 在不牺牲预测性能的前提下，该方法可将模型尺寸减少到何种程度？

主要发现

• DHE 在 AUC 性能上与标准独热编码相当，表明其在无嵌入表存储的情况下仍具备强大的表示能力。
• 与传统嵌入表及基于哈希的基线相比，DHE 显著减小了模型尺寸。
• 该框架无冲突，确保所有特征值（包括词汇外值）均具有唯一表示。
• 实证结果表明，DHE 在基准任务上优于当前最先进的基于哈希的嵌入学习算法。
• 确定性、不可学习的编码模块实现了高效且可扩展的嵌入生成，且无查找开销。
• 嵌入网络的端到端训练使模型能够有效记忆嵌入信息，而无需预计算表。