[论文解读] Exponential Family Estimation via Adversarial Dynamics Embedding

Bo Dai, Zhen Liu+5 more|arXiv (Cornell University)|Apr 27, 2019

Gaussian Processes and Bayesian Inference参考文献 47被引用 16

一句话总结

本文提出对抗动力嵌入（Adversarial Dynamics Embedding, ADE），一种新颖的方法，通过可微分的、基于神经架构的对偶采样器，实现指数族模型的最大似然估计（MLE），该采样器推广了哈密顿蒙特卡洛（HMC）。通过共享参数联合训练原始能量模型与嵌入动力学的对偶采样器，ADE 实现了高效、无偏的 MLE，并具备可计算的熵估计，其在包括 MNIST 和 CIFAR-10 在内的合成数据集和真实世界图像数据集上优于当前最先进方法。

ABSTRACT

We present an efficient algorithm for maximum likelihood estimation (MLE) of exponential family models, with a general parametrization of the energy function that includes neural networks. We exploit the primal-dual view of the MLE with a kinetics augmented model to obtain an estimate associated with an adversarial dual sampler. To represent this sampler, we introduce a novel neural architecture, dynamics embedding, that generalizes Hamiltonian Monte-Carlo (HMC). The proposed approach inherits the flexibility of HMC while enabling tractable entropy estimation for the augmented model. By learning both a dual sampler and the primal model simultaneously, and sharing parameters between them, we obviate the requirement to design a separate sampling procedure once the model has been trained, leading to more effective learning. We show that many existing estimators, such as contrastive divergence, pseudo/composite-likelihood, score matching, minimum Stein discrepancy estimator, non-local contrastive objectives, noise-contrastive estimation, and minimum probability flow, are special cases of the proposed approach, each expressed by a different (fixed) dual sampler. An empirical investigation shows that adapting the sampler during MLE can significantly improve on state-of-the-art estimators.

研究动机与目标

• 为解决指数族模型中分区函数不可计算的问题，该问题阻碍了最大似然估计（MLE）与采样。
• 通过引入统一的、可微分的框架，克服现有 MLE 近似方法的局限性——如对比发散法中的有偏梯度与 HMC 中不可计算的熵。
• 在单一原始-对偶优化框架下统一多种估计器（如 CD、得分匹配、NCE），并引入可学习的采样器。
• 通过使对偶采样器与原始模型共享参数，实现能量模型的端到端训练，提升采样与计算效率。
• 证明在 MLE 过程中学习对偶采样器可显著提升真实数据上的模型质量与泛化能力。

提出的方法

• 将 MLE 建模为在引入辅助动能变量的扩展模型上的原始-对偶优化问题，实现能量函数与对偶采样器的联合学习。
• 提出一种新颖的神经架构——‘动力嵌入’，通过神经网络参数化转移动力学，推广 HMC 同时保持熵的可计算性。
• 在原始模型（能量函数）与对偶采样器（动力嵌入）之间采用共享参数化，消除对独立、人工设计采样器的需求。
• 采用最小-最大目标函数，同时优化原始模型与对偶采样器，支持对两个组件的反向传播。
• 通过可学习的、可微分的动力学模型表示对偶分布，其行为类似 HMC，但支持灵活的非线性转移规则。
• 当无学习到的采样器时，采用 HMC 作为默认推理机制，确保鲁棒性，并支持图像补全等应用。

实验结果

研究问题

• RQ1 能否开发一个统一的、可微分的框架，用于对具有不可计算分区函数的指数族模型执行最大似然估计？
• RQ2 能否设计一种可学习的、基于神经网络的对偶采样器，其推广 HMC 同时支持可计算的熵估计与共享参数化？
• RQ3 与固定或人工设计的采样器相比，联合训练原始模型与对偶采样器是否能提升估计精度与样本质量？
• RQ4 所提方法能否涵盖并超越现有估计器（如对比发散法、得分匹配、噪声对比估计）？
• RQ5 所学习的动力嵌入能否在无需显式归一化流或独立 GAN 训练的情况下，实现有效的图像生成与补全？

主要发现

• 在合成数据上，ADE 达到最低的 MMD（最大均值差异），表明其在分布匹配方面优于归一化流、SM 与 CD。
• 在 CIFAR-10 上，ADE 经 HMC 精炼后获得 7.55 的 inception 分数，优于 Spectral GAN（7.42）与 Langevin PCD（集成下为 6.78）。
• 在 MNIST 与 CIFAR-10 上，生成样本的能量分布与真实数据高度匹配，表明其有效建模了底层数据流形。
• 使用 ADE 学习到的采样器在 MNIST 图像补全任务中，通过迭代使用 HMC 步骤对掩码区域进行细化，生成了连贯且逼真的输出。
• 消融实验证实，仅使用 Deep LVM 初始化的样本质量（inception score 7.26）远低于经 HMC 精炼后的结果（7.55），表明 HMC 精炼显著提升了质量。
• ADE 将多种现有估计器（如 CD、NCE、得分匹配等）作为固定对偶采样器的特例统一，建立了统一的理论框架。