[论文解读] Exponential Family Embeddings

Maja Rudolph, Francisco J. R. Ruiz+2 more|arXiv (Cornell University)|Aug 2, 2016

Family Dynamics and Relationships被引用 74

一句话总结

本文提出了指数族嵌入（ef-emb），将词嵌入推广至神经活动、购物篮数据和电影评分等多样化数据类型。通过使用指数族分布并结合共享的潜在向量，以条件方式建模每个观测值与上下文的关系，ef-emb 在数据重建性能和可解释语义结构发现方面，优于传统的降维方法（如泊松因子分解和指数族主成分分析）。

ABSTRACT

Word embeddings are a powerful approach for capturing semantic similarity among terms in a vocabulary. In this paper, we develop exponential family embeddings, a class of methods that extends the idea of word embeddings to other types of high-dimensional data. As examples, we studied neural data with real-valued observations, count data from a market basket analysis, and ratings data from a movie recommendation system. The main idea is to model each observation conditioned on a set of other observations. This set is called the context, and the way the context is defined is a modeling choice that depends on the problem. In language the context is the surrounding words; in neuroscience the context is close-by neurons; in market basket data the context is other items in the shopping cart. Each type of embedding model defines the context, the exponential family of conditional distributions, and how the latent embedding vectors are shared across data. We infer the embeddings with a scalable algorithm based on stochastic gradient descent. On all three applications - neural activity of zebrafish, users' shopping behavior, and movie ratings - we found exponential family embedding models to be more effective than other types of dimension reduction. They better reconstruct held-out data and find interesting qualitative structure.

研究动机与目标

• 将词嵌入在自然语言之外的成功应用扩展至高维数据类型，如神经记录、交易数据和评分数据。
• 开发一种统一框架，利用指数族分布建模每个数据点对上下文的条件依赖关系。
• 通过随机梯度下降实现潜在表示的可扩展学习，适用于多种数据模态。
• 证明ef-emb能够捕捉有意义的语义结构——例如购物数据中的替代品与互补品，或电影评分中的主题聚类——超越传统因子分解方法的能力。
• 表明ef-emb在多个真实世界数据集上对保留数据的重建性能优于现有降维技术。

提出的方法

• 根据数据类型和问题背景，为每个观测值定义上下文，例如相邻词语、邻近神经元或共同购买的商品。
• 指定一个条件指数族分布（如实值数据使用高斯分布，计数数据使用泊松分布，二值评分使用伯努利分布），以建模给定上下文的每个观测值。
• 使用潜在嵌入向量和上下文向量来参数化指数族分布的自然参数，从而灵活建模依赖关系。
• 在观测值之间共享嵌入向量和上下文向量，以确保一致性并实现泛化，模型结构随数据类型而变化。
• 使用带ℓ₂正则化的随机梯度下降拟合模型，实现对大规模数据集的可扩展性。
• 对于非泊松模型（如hpf），使用变分推理；对于基于泊松的模型，通过给定上下文的归一化泊松均值计算似然。

实验结果

研究问题

• RQ1 词嵌入的原理能否推广至非文本的高维数据（如神经活动和购物篮交易）？
• RQ2 如何通过条件指数族分布和共享潜在表示，构建一个统一框架来建模多种数据类型（实值、计数、二值）？
• RQ3 ef-emb模型在多大程度上比传统降维技术（如泊松因子分解和指数族主成分分析）更准确地重建保留数据？
• RQ4 学习到的嵌入是否揭示了可解释的语义结构——如产品替代品、互补品或电影的主题聚类——而不仅仅是统计拟合？
• RQ5 上下文定义和分布族的选择如何影响不同数据模态下模型的性能和可解释性？

主要发现

• 在购物篮数据上，K=100个潜在维度的p-emb模型在保留数据的归一化对数似然上表现最佳，优于泊松PCA和hpf。
• 在MovieLens数据上，K=20的p-emb模型实现了最高的测试对数似然，表明其在重建用户评分方面优于基线方法。
• p-emb模型成功捕捉了语义相似性：例如，酸奶和苏打被嵌入到其他相似产品的附近，余弦相似度反映了预期的分组。
• 嵌入向量与上下文向量的内积揭示了有意义的关系：高值表示互补商品（如薯片和啤酒），低值或负值表示替代品（如不同口味的意大利面酱）或极少共同出现的商品。
• 在电影评分中，每个潜在维度的上下文向量按主题相似性对电影进行排序，揭示了可解释的聚类，如儿童电影和科幻/动作类型。
• ef-emb框架将现有模型（如连续词袋模型（cbow）和负采样）作为特例包含在内，为嵌入方法提供了统一的视角。