[论文解读] Neural Random Projections for Language Modelling

Davide Nunes, Luís Antunes|arXiv (Cornell University)|Jul 2, 2018

Topic Modeling参考文献 41被引用 3

一句话总结

本文提出神经随机投影（NRP）作为一种方法，通过使用固定、稀疏的随机投影编码罕见或未见词汇，压缩神经语言模型中的词表示，显著减少模型参数量，同时达到与完整嵌入基线相当的困惑度分数。该方法利用随机投影生成紧凑的分布式表示，通过近正交向量特性保持语义相似性，从而在极少可训练参数下实现有效泛化。

ABSTRACT

Neural network-based language models deal with data sparsity problems by mapping the large discrete space of words into a smaller continuous space of real-valued vectors. By learning distributed vector representations for words, each training sample informs the neural network model about a combinatorial number of other patterns. In this paper, we exploit the sparsity in natural language even further by encoding each unique input word using a fixed sparse random representation. These sparse codes are then projected onto a smaller embedding space which allows for the encoding of word occurrences from a possibly unknown vocabulary, along with the creation of more compact language models using a reduced number of parameters. We investigate the properties of our encoding mechanism empirically, by evaluating its performance on the widely used Penn Treebank corpus. We show that guaranteeing approximately equidistant (nearly orthogonal) vector representations for unique discrete inputs is enough to provide the neural network model with enough information to learn --and make use-- of distributed representations for these inputs.

研究动机与目标

• 通过用随机投影替代传统词嵌入，解决神经语言模型中的数据稀疏性和参数效率低下问题。
• 探究固定、稀疏的随机码是否能有效编码离散词输入并支持分布式表示的学习。
• 证明随机投影可在减少参数量的同时，维持在标准基准上的竞争性困惑度。
• 评估该方法在不同随机投影维度和模型架构下的鲁棒性与可扩展性。

提出的方法

• 每个唯一词汇均使用固定、稀疏的随机二进制向量（随机索引）进行编码，维度为k，作为非学习的输入表示。
• 这些稀疏随机码通过可学习的线性变换投影到低维连续空间，形成紧凑的词嵌入。
• 模型使用带有ReLU激活和Dropout正则化的前馈神经网络，从上下文表示预测下一个词的概率。
• 输出层通过投影后的词表示计算词汇表上的类别分布，采用Softmax，并应用基于能量的建模原则以实现高效训练。
• 采用噪声对比估计（NCE）评估该方法，以降低输出层的计算成本。
• 通过网格搜索对嵌入大小、Dropout率和随机索引维度k等超参数进行调优，以优化性能。

实验结果

研究问题

• RQ1 固定、稀疏的随机投影能否作为神经语言模型中学习词嵌入的有效替代方案？
• RQ2 随机投影的维度k如何影响模型性能和参数效率？
• RQ3 随机投影在多大程度上能通过近正交向量表示保持词之间的语义相似性？
• RQ4 该模型能否在无需显式词汇表扩展或重新训练的情况下泛化到未见词汇和罕见n-gram？
• RQ5 与标准神经语言模型相比，NRP模型在困惑度和参数量方面的表现如何？

主要发现

• NRP模型在测试困惑度上与完整嵌入基线相当，但可训练参数显著更少。
• 困惑度随随机索引维度k的增加呈指数下降，即使在较低k值下也能收敛至基线性能。
• 由于随机投影机制提供的隐式平滑，模型对罕见和未见词汇表现出强大的泛化能力。
• 该方法对超参数和模型规模敏感，需仔细调优以获得最佳性能。
• 该方法与近似技术（如噪声对比估计，NCE）兼容，可在大规模词汇表上实现可扩展训练。
• 使用ReLU激活、Dropout和简单前馈架构可提升训练速度和性能，使基线模型在性能上可与最先进方法相媲美。