[论文解读] Autoregressive Energy Machines

Charlie Nash, Conor Durkan|arXiv (Cornell University)|Apr 11, 2019

Advanced Memory and Neural Computing被引用 19

一句话总结

该论文提出自回归能量机器（AEM），一种神经密度估计器，通过自回归分解学习未归一化的能量函数，并利用重要性采样同时估计归一化常数。通过在低维条件分布中结合灵活的能量模型与可扩展的归一化常数估计，该方法在密度估计基准测试中实现了最先进性能。

ABSTRACT

Neural density estimators are flexible families of parametric models which have seen widespread use in unsupervised machine learning in recent years. Maximum-likelihood training typically dictates that these models be constrained to specify an explicit density. However, this limitation can be overcome by instead using a neural network to specify an energy function, or unnormalized density, which can subsequently be normalized to obtain a valid distribution. The challenge with this approach lies in accurately estimating the normalizing constant of the high-dimensional energy function. We propose the Autoregressive Energy Machine, an energy-based model which simultaneously learns an unnormalized density and computes an importance-sampling estimate of the normalizing constant for each conditional in an autoregressive decomposition. The Autoregressive Energy Machine achieves state-of-the-art performance on a suite of density-estimation tasks.

研究动机与目标

• 为克服显式密度模型在捕捉尖锐过渡和多模态分布方面的局限性。
• 解决高维基于能量模型中不可计算归一化常数的挑战。
• 利用神经网络建模未归一化密度，实现灵活且高容量的密度估计。
• 开发一种可扩展的训练方法，利用自回归结构提升归一化常数估计。
• 在标准密度估计基准上实现最先进对数似然性能。

提出的方法

• AEM 使用自回归神经网络按顺序为每个变量计算提案参数和上下文向量。
• 对于每个条件分布，模型使用独立的能量网络基于输入和上下文向量计算未归一化的对数概率。
• 通过自回归网络参数化的提案分布，使用20个样本对每个条件的归一化常数进行重要性采样估计。
• 总对数概率近似为能量项之和减去归一化常数的重要性采样估计的对数。
• 通过随机梯度下降进行端到端最大似然训练。
• 通过将高维问题分解为低维条件，实现精确密度评估和高效训练。

实验结果

研究问题

• RQ1 基于能量的模型若使用未归一化密度，是否能在复杂数据分布上表现优于显式密度估计器？
• RQ2 自回归分解是否能实现高维能量模型中归一化常数的准确且可扩展估计？
• RQ3 联合学习提案分布与能量函数是否能提升归一化常数估计与密度建模性能？
• RQ4 AEM 是否能在标准密度估计基准上超越现有最先进模型？
• RQ5 与基于流或自回归的模型相比，AEM 在处理具有尖锐过渡或高频分量的分布时表现如何？

主要发现

• AEM 在一系列密度估计任务中实现最先进性能，在基准数据集上优于现有模型。
• 该模型成功保留了具有尖锐过渡的数据中的细微细节，例如图像中的光照分布，表现优于使用显式条件的模型。
• 在动态二值化MNIST上，AEM-VAE 显著优于标准高斯先验，并取得具有竞争力的结果。
• 随着维度增加，归一化常数的重要性采样估计性能下降，但自回归分解通过在低维条件中估计常数缓解了这一问题。
• 在VAE设置中，AEM并未提升提案分布得分，可能是因为聚合后验已被高斯混合模型良好建模。
• 该方法能够灵活建模低密度区域和不连续密度，这是传统自回归和基于流模型难以处理的挑战。