[论文解读] Infinite Dimensional Word Embeddings

Eric Nalisnick, Sachin Ravi|arXiv (Cornell University)|Nov 17, 2015

Topic Modeling参考文献 17被引用 10

一句话总结

该论文提出了无限跳跃-gram（iSG）模型，这是一种基于能量的词嵌入方法，通过在可数无限维度的词向量与上下文向量联合分布上引入随机维度，实现词嵌入的随机维度化。通过在训练过程中自适应地扩展向量维度，iSG生成了参数高效且鲁棒的表示，其可解释的维度分布自然支持通过词义感应实现的词义归纳。

ABSTRACT

We describe a method for learning word embeddings with stochastic dimensionality. Our Infinite Skip-Gram (iSG) model specifies an energy-based joint distribution over a word vector, a context vector, and their dimensionality. By employing the same techniques used to make the Infinite Restricted Boltzmann Machine (Cote & Larochelle, 2015) tractable, we define vector dimensionality over a countably infinite domain, allowing vectors to grow as needed during training. After training, we find that the distribution over embedding dimensionality for a given word is highly interpretable and leads to an elegant probabilistic mechanism for word sense induction. We show qualitatively and quantitatively that the iSG produces parameter-efficient representations that are robust to language's inherent ambiguity.

研究动机与目标

• 解决固定维度词嵌入可能因无法充分捕捉语言复杂性而产生欠拟合或过拟合的问题。
• 开发一种方法，使词向量维度在训练过程中能够动态增长，以适应单个词的复杂性。
• 通过利用嵌入维度分布，构建一个用于词义感应的概率框架。
• 通过无限维向量表示提升语言歧义建模的鲁棒性与参数效率。

提出的方法

• iSG模型在词向量、上下文向量及其维度之间定义了一个基于能量的联合分布，从而实现随机维度选择。
• 它将无限受限玻尔兹曼机（IRBM）的技术扩展至可数无限维度域，使在该域上的推理变得可行。
• 维度在训练过程中被学习，使向量可根据需要扩展，以捕捉复杂或歧义的词义。
• 模型使用变分推断来近似维度的后验分布，从而实现可扩展的训练。
• 每个词的维度分布具有可解释性，且能反映词义复杂性。
• 该框架通过将更高维度与多义词关联，自然支持词义感应。

实验结果

研究问题

• RQ1 词嵌入模型是否能在训练过程中动态调整向量维度，以更好地捕捉语言歧义？
• RQ2 嵌入维度的分布与词义复杂性及多义性之间是否存在相关性？
• RQ3 随机维度在多大程度上提升了参数效率与词表示学习的鲁棒性？
• RQ4 学习到的维度分布能否作为词义感应的合理机制？
• RQ5 与固定维度基线模型相比，iSG模型在性能与效率方面表现如何？

主要发现

• 每个词的嵌入维度分布具有高度可解释性，多义词通常表现出更高的有效维度。
• 该模型生成了参数高效且对自然语言固有歧义具有鲁棒性的表示。
• iSG模型通过维度分配实现了一种自然且优雅的词义感应机制。
• 该方法在平均参数量更少的情况下，实现了与固定维度模型相当的性能。
• 通过自适应维度增长，该模型在建模语言歧义方面表现出定性与定量上的改进。