[论文解读] Maximum Entropy Flow Networks

Gabriel Loaiza-Ganem, Yuanjun Gao+1 more|arXiv (Cornell University)|Jan 12, 2017

Gaussian Processes and Bayesian Inference参考文献 26被引用 8

一句话总结

本文提出最大熵流网络（MEFN），一种深度学习框架，可从简单先验（如高斯分布）学习满足给定矩约束的、最大熵分布的平滑可逆变换。通过利用归一化流和通过增广拉格朗日法实现的约束随机优化，MEFN避免了难以计算的归一化常数，并实现了高效的精确采样与密度评估，在纹理合成中显著提升了样本多样性，且能准确拟合期权价格。

ABSTRACT

Maximum entropy modeling is a flexible and popular framework for formulating statistical models given partial knowledge. In this paper, rather than the traditional method of optimizing over the continuous density directly, we learn a smooth and invertible transformation that maps a simple distribution to the desired maximum entropy distribution. Doing so is nontrivial in that the objective being maximized (entropy) is a function of the density itself. By exploiting recent developments in normalizing flow networks, we cast the maximum entropy problem into a finite-dimensional constrained optimization, and solve the problem by combining stochastic optimization with the augmented Lagrangian method. Simulation results demonstrate the effectiveness of our method, and applications to finance and computer vision show the flexibility and accuracy of using maximum entropy flow networks.

研究动机与目标

• 解决在矩约束下高效从连续最大熵分布中采样的长期挑战。
• 克服传统最大熵建模中归一化常数计算不可行及熵估计器有偏的问题。
• 实现最大熵分布的可处理、精确密度评估与可靠的独立同分布（iid）采样。
• 通过与归一化流架构集成，将最大熵建模的实用性扩展至深度生成建模。
• 在保持结构质量的同时，提升纹理合成中的样本多样性，超越现有方法。

提出的方法

• 该方法将最大熵密度估计表述为关于将标准高斯分布映射到目标分布的平滑可逆变换参数的约束优化问题。
• 利用归一化流确保雅可比行列式可处理，从而通过变量变换公式实现密度的精确计算。
• 通过结合随机优化与增广拉格朗日法来优化熵目标，以强制执行矩约束。
• 通过学习隐式定义最大熵分布的流，避免了对难以计算的归一化常数的直接评估。
• 该框架支持通过一次前向传播即可实现密度评估与高效生成独立同分布样本。
• 该方法采用基于梯度的端到端训练，约束通过增广拉格朗日框架中的拉格朗日乘子实现。

实验结果

研究问题

• RQ1 是否可以训练一个深度生成模型，在不显式计算其难以计算的归一化常数的前提下，学习最大熵分布？
• RQ2 归一化流能否与约束优化有效结合，以解决连续空间中的最大熵问题？
• RQ3 与现有深度生成模型相比，学习基于流的变换是否能提升纹理合成中的样本多样性与质量？
• RQ4 MEFN能否以高保真度和高效采样准确拟合复杂现实分布（如权益期权价格）？
• RQ5 该框架能否同时提供精确密度评估与高效iid采样，从而克服传统最大熵方法的局限？

主要发现

• MEFN在密度评估与采样性能上与经典吉布斯分布方法相当，但无需计算难以计算的归一化常数。
• 在纹理合成中，MEFN生成的图像样本多样性显著更高，表现为生成图像对平均L2距离提高了47%（17,014 vs. 11,534，较基线）。
• MEFN的组内平方和更大（SSW = 161,639），组间平方和更小（SSB = 13,964），表明样本变异性更高、平均图像结构更低，意味着多样性更高且模式崩溃更少。
• MEFN的总平方和（SST）为175,604，而基线为128,680，证实了生成图像整体变异性更大。
• MEFN成功以高精度拟合权益期权价格分布，展示了其在金融建模应用中的实用性。
• 该方法通过一次前向传播即可实现精确无偏的密度评估与高效iid采样，克服了高维空间中如科扎琴科-列翁琴科等有偏熵估计器的局限。