[论文解读] Getting deep recommenders fit: Bloom embeddings for sparse binary input/output networks

Joan Serrà, Alexandros Karatzoglou|arXiv (Cornell University)|Jun 13, 2017

Recommender Systems and Techniques参考文献 33被引用 6

一句话总结

本文提出Bloom嵌入（Bloom embeddings），一种计算高效、无监督的压缩技术，用于深度推荐系统中的稀疏高维二值输入与输出。通过利用布隆过滤器原理，该方法在几乎不损失准确率的前提下显著减少模型大小与训练时间——在某些情况下实现高达12%的准确率提升——同时支持实时计算且内存开销为零。

ABSTRACT

Recommendation algorithms that incorporate techniques from deep learning are becoming increasingly popular. Due to the structure of the data coming from recommendation domains (i.e., one-hot-encoded vectors of item preferences), these algorithms tend to have large input and output dimensionalities that dominate their overall size. This makes them difficult to train, due to the limited memory of graphical processing units, and difficult to deploy on mobile devices with limited hardware. To address these difficulties, we propose Bloom embeddings, a compression technique that can be applied to the input and output of neural network models dealing with sparse high-dimensional binary-coded instances. Bloom embeddings are computationally efficient, and do not seriously compromise the accuracy of the model up to 1/5 compression ratios. In some cases, they even improve over the original accuracy, with relative increases up to 12%. We evaluate Bloom embeddings on 7 data sets and compare it against 4 alternative methods, obtaining favorable results. We also discuss a number of further advantages of Bloom embeddings, such as 'on-the-fly' constant-time operation, zero or marginal space requirements, training time speedups, or the fact that they do not require any change to the core model architecture or training configuration.

研究动机与目标

• 解决深度推荐系统中因高维稀疏二值输入与输出导致的模型规模过大的问题。
• 在不损害模型准确率且无需修改网络架构的前提下，降低内存与训练开销。
• 实现高效、常数时间的嵌入操作，支持缓存或实时计算，空间使用可忽略不计。
• 保持排序保真度，并在推理阶段能够准确、可逆地映射回原始项目。
• 提升训练速度，并增强在移动平台等资源受限设备上的模型可部署性。

提出的方法

• 采用基于布隆过滤器的编码方式，将高维独热编码的输入与输出向量压缩为低维二值嵌入。
• 使用k组独立的哈希函数，将每个项目ID映射到固定大小的二值向量（即布隆过滤器）中的多个位置。
• 通过确定性哈希实现嵌入的实时计算，无需存储大型嵌入矩阵。
• 支持标准Bloom嵌入（BE）与共现感知Bloom嵌入（CBE），后者根据项目共现统计信息动态调整哈希函数。
• 通过仅修改输入/输出层的维度，保持与标准深度学习框架的兼容性，不改变核心模型或损失函数。
• 通过存储一个查找表，将嵌入向量的索引映射回原始项目ID，确保可逆性，从而实现准确的预测映射。

实验结果

研究问题

• RQ1 基于布隆过滤器的嵌入是否能在不损失准确率的前提下，有效压缩深度推荐模型中的稀疏二值输入与输出？
• RQ2 在准确率与训练速度方面，Bloom嵌入相较于现有嵌入与压缩技术表现如何？
• RQ3 共现感知Bloom嵌入（CBE）通过利用项目共现模式，相较于标准Bloom嵌入（BE）能将性能提升多少？
• RQ4 Bloom嵌入是否能在移动设备或低资源设备上带来可测量的训练时间与内存效率提升？
• RQ5 Bloom嵌入是否可普遍适用于多种推荐任务，而无需修改核心模型架构或损失函数？

主要发现

• 在某些推荐任务中，Bloom嵌入在20%压缩率下，相对于基线模型实现了高达12%的相对准确率提升，例如在Amazon（AMZ）数据集上。
• 平均而言，共现感知Bloom嵌入（CBE）优于标准Bloom嵌入（BE），在所有数据集中平均得分提升+1.7%（k=4）。
• 在压缩比m/d = 0.2时，CBE在AMZ数据集上达到1.117的得分比（S_i/S_0），甚至超过CCA与PMI基线方法。
• 该方法支持实时计算，内存开销为零或可忽略，无需存储大型嵌入矩阵。
• 由于输入/输出层参数更少，训练时间显著缩短，且无需修改网络架构。
• 误报率保持在较低水平，且该方法维持了推荐系统至关重要的排序保真度，已在七个基准数据集上得到验证。