[论文解读] A New Unbiased and Efficient Class of LSH-Based Samplers and Estimators for Partition Function Computation in Log-Linear Models

Ryan Spring, Anshumali Shrivastava|arXiv (Cornell University)|Mar 15, 2017

Machine Learning and Algorithms参考文献 18被引用 24

一句话总结

本文提出了一种基于局部敏感哈希（LSH）的采样与无偏估计框架，用于高效计算对数线性模型中的分区函数。通过利用局部敏感哈希在近似恒定时间内生成相关联的未标准化样本，该方法实现了次线性时间复杂度，并在准确性和速度上显著优于标准重要性采样和Gumbel-Max变体，使仅使用原始计算量1%–2%即可训练大规模语言模型成为可能。

ABSTRACT

Log-linear models are arguably the most successful class of graphical models for large-scale applications because of their simplicity and tractability. Learning and inference with these models require calculating the partition function, which is a major bottleneck and intractable for large state spaces. Importance Sampling (IS) and MCMC-based approaches are lucrative. However, the condition of having a "good" proposal distribution is often not satisfied in practice. In this paper, we add a new dimension to efficient estimation via sampling. We propose a new sampling scheme and an unbiased estimator that estimates the partition function accurately in sub-linear time. Our samples are generated in near-constant time using locality sensitive hashing (LSH), and so are correlated and unnormalized. We demonstrate the effectiveness of our proposed approach by comparing the accuracy and speed of estimating the partition function against other state-of-the-art estimation techniques including IS and the efficient variant of Gumbel-Max sampling. With our efficient sampling scheme, we accurately train real-world language models using only 1-2% of computations.

研究动机与目标

• 解决大规模对数线性模型中分区函数估计的计算瓶颈，尤其是在状态空间极其庞大的情况下。
• 克服现有重要性采样和Gumbel-Max方法的局限性，这些方法因提议分布不足而面临高方差或低精度问题。
• 开发一种可证明无偏的估计器，利用局部敏感哈希（LSH）实现在摊销次线性时间内高效采样。
• 证明所提出的方法可在极低计算成本下实现真实世界语言模型的高精度训练。
• 建立一类高效、可扩展的估计器，适用于工业规模机器学习应用，兼具高准确性和实用性。

提出的方法

• 使用基于SimHash的LSH在每样本近似恒定时间内从未标准化的目标分布中生成样本。
• 通过使用估计的碰撞概率对LSH样本加权，构建无偏估计器，即使在样本相关且未归一化的情况下也能保证一致性。
• 利用LSH将最大内积搜索（MIPS）公式化，从而在无需完整枚举的情况下高效检索高权重状态。
• 通过调节LSH参数（K, L）并应用拒绝采样，控制样本集大小以满足所需的样本数量。
• 将基于LSH的估计器集成到随机梯度下降中，用于训练对数线性模型，替代精确的分区函数计算。
• 使用固定大小的样本集并调整重要性权重，以在控制计算开销的同时保持无偏性。

实验结果

研究问题

• RQ1 基于LSH的采样能否为对数线性模型中的分区函数估计提供一种无偏且高效的替代标准重要性采样方法？
• RQ2 所提出的方法是否在保持高精度的同时实现了次线性时间复杂度？
• RQ3 在准确性和速度方面，基于LSH的估计器与精确的Gumbel-Max方法和近似的MIPS-Gumbel方法相比表现如何？
• RQ4 所提出的估计器能否在极低计算开销下实现大规模语言模型的有效训练？
• RQ5 样本大小和LSH参数调节对分区函数估计的准确性和效率有何影响？

主要发现

• 基于LSH的估计器实现了每样本近似恒定时间采样，从而实现了分区函数的摊销次线性时间计算。
• 在PTB和Text8数据集上，LSH估计器的准确度与精确Gumbel方法相当（MAE ≈ 91.8 和 140.7），同时显著快于精确方法。
• 均匀重要性采样（Uniform IS）估计器表现出高方差和性能差，PTB数据集上的困惑度高达524.3，凸显其不稳定性。
• MIPS Gumbel方法因分区函数估计不准确而在训练过程中发散，凸显了估计器可靠性的关键作用。
• LSH估计器将训练计算量减少至原始成本的仅1%–2%，同时保持高模型准确度，如困惑度结果所示。
• 随着样本量增加，LSH估计器的MAE逐渐降低并趋近于精确Gumbel方法的水平，证明了其收敛性和鲁棒性。