[论文解读] Faithful Inversion of Generative Models for Effective Amortized Inference

Stefan Webb, Adam Goliński+5 more|arXiv (Cornell University)|Dec 1, 2017

Bayesian Modeling and Causal Inference参考文献 7被引用 8

一句话总结

本文提出一种方法，通过使用变量消去和团树传播从后验分布构建最小且忠实的贝叶斯网络结构，实现生成模型的忠实反演，从而得到近似推理网络。关键贡献是提出一种理论基础坚实、最小忠实的逆模型，可实现保证条件独立性结构保持的高效近似推理。

ABSTRACT

Inference amortization methods share information across multiple posterior-inference problems, allowing each to be carried out more efficiently. Generally, they require the inversion of the dependency structure in the generative model, as the modeller must learn a mapping from observations to distributions approximating the posterior. Previous approaches have involved inverting the dependency structure in a heuristic way that fails to capture these dependencies correctly, thereby limiting the achievable accuracy of the resulting approximations. We introduce an algorithm for faithfully, and minimally, inverting the graphical model structure of any generative model. Such inverses have two crucial properties: (a) they do not encode any independence assertions that are absent from the model and; (b) they are local maxima for the number of true independencies encoded. We prove the correctness of our approach and empirically show that the resulting minimally faithful inverses lead to better inference amortization than existing heuristic approaches.

研究动机与目标

• 解决在概率图模型中为复杂后验分布构建有效近似推理网络的挑战。
• 确保学习到的推理模型保留后验分布的真实条件独立性结构。
• 开发一种方法，为后验分布生成最小且忠实的贝叶斯网络结构，避免不忠实或过度复杂的因子分解。
• 为将生成模型反演为可处理的、结构化的推理网络提供理论坚实框架。
• 通过利用团树的拓扑排序和sepset性质，实现高效且可扩展的近似推理。

提出的方法

• 在反向拓扑顺序下应用变量消去，推导出尊重条件独立性的后验因子分解。
• 从变量消去过程中构建团树，其中每个团对应一个隐变量，sepset表示父节点关系。
• 通过在每一步消去过程中，将每个隐变量的父节点设置为其诱导图中未标记的邻居，定义逆贝叶斯网络结构。
• 利用团树的sepset性质，确保每个条件分布仅依赖于其在后验因子分解中的马尔可夫毯。
• 证明所得模型是后验的I-map（独立性映射），确保忠实于真实的条件独立性。
• 通过证明每个sepset是最小分离集，表明无法移除任何边而不破坏忠实性，从而证明最小性。

实验结果

研究问题

• RQ1 我们能否构建一个近似推理网络，以忠实捕捉真实后验分布的条件独立性结构？
• RQ2 是否可能仅利用后验的条件独立性，将生成模型反演为结构化后验网络？
• RQ3 对于所得逆模型的忠实性和最小性，可提供哪些保证？
• RQ4 如何利用变量消去和团树传播推导出理论可靠的后验因子分解？
• RQ5 是否可以不引入虚假依赖或对数据过拟合的情况下构建逆模型？

主要发现

• 所提方法为后验分布构建的贝叶斯网络结构是I-map，确保其不编码真实后验中不存在的任何独立性。
• 逆模型是最小忠实的，即无法在不引入不忠实独立性的情况下移除任何边，因为每个sepset都是最小分离集。
• 通过团树结构精确保留了后验的因子分解，每个条件分布仅依赖于其在逆图中的马尔可夫毯。
• 该方法保证所得推理网络与真实后验具有相同的条件独立性结构，从而实现忠实的近似推理。
• 该构造是确定性的，基于后验的条件独立性，避免了启发式或近似方法。
• 该方法理论坚实且具有通用性，仅依赖于变量消去和贝叶斯网络中d-separation的性质。