[论文解读] Iterative Refinement of the Approximate Posterior for Directed Belief Networks

R Devon Hjelm, Kyunghyun Cho+4 more|arXiv (Cornell University)|Nov 19, 2015

Model Reduction and Neural Networks被引用 8

一句话总结

本文提出迭代近似后验优化（IRVI），一种通过自适应重要性采样迭代优化识别网络输出的后验估计，以改进有向信念网络中的变分推断。该方法降低了梯度方差，提高了有效样本量，实现了更精确的对数似然估计和更优的生成重建效果，且无需使用复杂的识别模型。

ABSTRACT

Variational methods that rely on a recognition network to approximate the posterior of directed graphical models offer better inference and learning than previous methods. Recent advances that exploit the capacity and flexibility in this approach have expanded what kinds of models can be trained. However, as a proposal for the posterior, the capacity of the recognition network is limited, which can constrain the representational power of the generative model and increase the variance of Monte Carlo estimates. To address these issues, we introduce an iterative refinement procedure for improving the approximate posterior of the recognition network and show that training with the refined posterior is competitive with state-of-the-art methods. The advantages of refinement are further evident in an increased effective sample size, which implies a lower variance of gradient estimates.

研究动机与目标

• 为解决变分推断中固定容量识别网络的局限性，此类限制会制约模型的表征能力并增加梯度方差。
• 通过在初始识别网络输出基础上进一步优化近似后验，提升有向图模型中对数似然估计的准确性。
• 证明迭代优化可同时提升训练效率与推理质量，尤其在初始后验质量较差时效果更显著。
• 表明经优化的后验可更准确评估模型容量，即使在使用简化或低容量识别网络的情况下亦可实现。

提出的方法

• 该方法首先使用识别网络初始化变分后验，随后通过自适应重要性采样（AIS）进行迭代优化，以改进后验近似。
• 在每一步优化中，算法从提议分布中抽取样本，并对样本进行重新加权，以更精确逼近真实后验。
• 利用优化后的后验计算更紧致的变分下界，该下界渐近无偏，且能降低蒙特卡洛梯度估计的方差。
• 该方法遵循类似期望最大化（EM）的结构：E步通过AIS优化后验，M步则优化生成模型与识别网络的参数。
• 该方法具有通用性，适用于任意有向图模型，包括无法使用重参数化技巧的离散潜变量模型。
• 优化过程提高了有效样本量，表明后验近似更准确且方差更低。

实验结果

研究问题

• RQ1 能否通过迭代优化近似后验来提升有向信念网络中对数似然估计的准确性？
• RQ2 后验优化在训练过程中如何影响蒙特卡洛梯度估计的方差？
• RQ3 在初始后验质量较差时，通过迭代优化能将简单或低容量识别网络的性能提升到何种程度，以揭示模型的真实生成能力？
• RQ4 即使初始识别网络表现不佳，优化后的后验是否仍能带来更优的重建效果与推理质量？
• RQ5 该方法是否能有效应用于具有离散潜变量的模型，其中标准重参数化方法不可行？

主要发现

• 通过自适应重要性采样（AIR）进行迭代优化，显著降低了梯度估计的方差，同时提高了后验近似的有效样本量。
• 对于包含20个随机单元的单层Sigmoid信念网络，经过100步优化后，对数似然估计误差从未经优化时的-127.51降低至-127.48，接近精确值-127.474。
• 由优化后验生成的重建结果始终优于初始识别网络的输出，MNIST样本中更清晰地呈现出数字的可辨识特征。
• 即使仅使用原始识别网络20%的参数，迭代优化仍能从Caltech-101轮廓图中成功恢复出有意义的图像结构。
• 该方法在简化后验上显著提升了推理质量，表明高质量推理并不依赖于复杂的识别模型。
• 优化后的后遗后验使模型容量的评估更加准确，尤其在初始识别网络未能捕捉真实后验的情况下表现更优。