[论文解读] Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies

Paul Pu Liang, Manzil Zaheer+2 more|arXiv (Cornell University)|Mar 18, 2020

Topic Modeling参考文献 78被引用 4

一句话总结

该论文提出 ANCHOR & TRANSFORM (ANT)，一种通过将每个离散对象表示为少量可学习锚向量的稀疏线性组合，并利用可微分、端到端可训练的变换矩阵，来为大规模词汇表学习稀疏嵌入的方法。ANT 在文本分类、语言建模和推荐任务中实现了高达 40× 的参数压缩，且性能优于基线模型；其贝叶斯扩展（NBANT）可自动调整锚向量数量，无需超参数调优。

ABSTRACT

Learning continuous representations of discrete objects such as text, users, movies, and URLs lies at the heart of many applications including language and user modeling. When using discrete objects as input to neural networks, we often ignore the underlying structures (e.g., natural groupings and similarities) and embed the objects independently into individual vectors. As a result, existing methods do not scale to large vocabulary sizes. In this paper, we design a simple and efficient embedding algorithm that learns a small set of anchor embeddings and a sparse transformation matrix. We call our method Anchor & Transform (ANT) as the embeddings of discrete objects are a sparse linear combination of the anchors, weighted according to the transformation matrix. ANT is scalable, flexible, and end-to-end trainable. We further provide a statistical interpretation of our algorithm as a Bayesian nonparametric prior for embeddings that encourages sparsity and leverages natural groupings among objects. By deriving an approximate inference algorithm based on Small Variance Asymptotics, we obtain a natural extension that automatically learns the optimal number of anchors instead of having to tune it as a hyperparameter. On text classification, language modeling, and movie recommendation benchmarks, we show that ANT is particularly suitable for large vocabulary sizes and demonstrates stronger performance with fewer parameters (up to 40x compression) as compared to existing compression baselines.

研究动机与目标

• 为解决大规模词汇设置下完整嵌入矩阵的可扩展性和低效性问题，其中参数可能占模型大小的 80% 以上。
• 利用离散对象（如词语、用户）之间潜在的结构，例如自然分组和相似性，这些在标准独立嵌入方法中被忽略。
• 开发一种可微分、端到端可训练的方法，学习稀疏且相互依赖的表示，无需多阶段训练或后处理。
• 通过贝叶斯非参数先验为稀疏嵌入提供统计基础，实现最优锚点数量的自动选择。

提出的方法

• ANT 将每个对象的嵌入表示为一组少量学习锚向量的稀疏线性组合，其中变换矩阵 T 为稀疏且可微分。
• 该方法通过可微分的目标函数，联合端到端优化锚向量 A 和稀疏变换矩阵 T。
• 统计解释将 ANT 框架为印度餐厅过程（IBP）先验，从而实现贝叶斯非参数扩展（NBANT），可自动学习锚点数量。
• 采用小方差渐近分析（SVA）推导近似推理算法，从而实现 NBANT 中锚点数量的自动选择。
• 目标函数通过超参数 λ1 和 λ2 平衡预测损失、变换矩阵 T 的稀疏性（∥T∥0）以及锚点数量 K。
• NBANT 将 ANT 扩展至在线学习场景，动态调整锚点数量以适应新数据批次，实现在大规模数据集上的内存高效训练。

实验结果

研究问题

• RQ1 能否设计一种稀疏、可微分且端到端可训练的方法，在显著减少参数量的同时，为大规模词汇表学习高质量嵌入？
• RQ2 在嵌入学习中，如何在不依赖独立向量分配的前提下，有效利用离散对象（如分组、相似性）之间的潜在结构关系？
• RQ3 能否将贝叶斯非参数先验有效整合到深度神经网络中，以在稀疏嵌入框架中自动确定最优锚点数量？
• RQ4 所提出的方法在模型效率和下游任务预测性能方面，是否优于现有压缩基线？
• RQ5 该方法是否可在在线学习场景中实现扩展，即数据以批次形式到达，且锚点数量需动态调整？

主要发现

• ANT 在文本分类和语言建模基准上实现了高达 40× 的参数压缩，同时保持或优于完整嵌入矩阵和现有压缩基线的性能。
• 在 PTB 语言建模任务中，ANT 使用 200 个锚点和 245K 个非零参数，困惑度达到 77.7，优于使用 214K 个非零参数的完整 1,000 维嵌入基线。
• NBANT 扩展能自动学习最优锚点数量：在 MovieLens 1M 数据集上，其收敛至 8 个用户锚点和 8 个物品锚点，性能与离线版本相当。
• 在在线设置中，NBANT 随数据到达动态将锚点数量从 10 增加至 26，随后减少至 8–10，展现出对新兴数据结构的稳健适应能力。
• 调节 λ1 可实现有效模型选择：λ1 = 2×10⁻⁵ 时选择 1,000 个锚点的模型，困惑度为 79.4；而 λ1 = 1×10⁻¹ 时选择仅 100 个锚点的模型，困惑度为 106.6，表明可有效控制性能与压缩率之间的权衡。
• 在 MovieLens 25M 数据集上，NBANT 高效优化了目标函数，并通过 3D 可视化和网格搜索对比确认其解接近全局最优。