[论文解读] Combining Generative and Discriminative Models for Hybrid Inference

Victor García Satorras, Zeynep Akata+1 more|arXiv (Cornell University)|Jun 1, 2019

Gaussian Processes and Bayesian Inference被引用 28

一句话总结

该论文提出了一种混合推理模型，通过图神经网络结构和循环推理，将图模型与学习到的逆映射统一起来，实现了生成式与判别式推理之间的自动平衡。该方法显著提升了混沌系统（如带噪声的洛伦兹吸引子）的轨迹估计性能，优于纯图模型和纯学习型推理方法。

ABSTRACT

A graphical model is a structured representation of the data generating process. The traditional method to reason over random variables is to perform inference in this graphical model. However, in many cases the generating process is only a poor approximation of the much more complex true data generating process, leading to suboptimal estimation. The subtleties of the generative process are however captured in the data itself and we can ``learn to infer'', that is, learn a direct mapping from observations to explanatory latent variables. In this work we propose a hybrid model that combines graphical inference with a learned inverse model, which we structure as in a graph neural network, while the iterative algorithm as a whole is formulated as a recurrent neural network. By using cross-validation we can automatically balance the amount of work performed by graphical inference versus learned inference. We apply our ideas to the Kalman filter, a Gaussian hidden Markov model for time sequences, and show, among other things, that our model can estimate the trajectory of a noisy chaotic Lorenz Attractor much more accurately than either the learned or graphical inference run in isolation.

研究动机与目标

• 为解决纯生成模型在捕捉复杂数据生成过程方面的局限性。
• 通过从观测到潜在变量的直接映射学习数据驱动的洞见。
• 设计一种统一的推理框架，通过交叉验证平衡图推理与学习型推理。
• 在如混沌洛伦兹吸引子等具有挑战性的序列系统中提升估计精度。

提出的方法

• 该模型将图模型（例如卡尔曼滤波器）与作为图神经网络结构的有学习逆模型相结合。
• 通过循环神经网络架构迭代执行推理，以优化潜在变量估计。
• 混合系统利用交叉验证自动确定图推理与学习型推理组件之间的最优权衡。
• 学习到的逆模型捕捉了生成模型未能完全表达的数据细微模式。
• 该框架被应用于卡尔曼滤波器的高斯隐马尔可夫模型，以实现时间序列推理。

实验结果

研究问题

• RQ1 将图推理与学习型推理相结合，是否能提升复杂动力系统中的估计精度？
• RQ2 如何最优地平衡生成式与判别式推理的相对贡献？
• RQ3 在混沌时间序列场景下，混合模型是否优于独立的图推理或学习型推理？
• RQ4 学习到的逆模型在多大程度上能纠正生成模型假设中的不准确性？

主要发现

• 与单独使用纯图推理或学习型推理相比，该混合模型在带噪声的混沌洛伦兹吸引子上实现了显著更高的轨迹估计精度。
• 学习到的逆映射与图模型的结合，捕捉了生成模型所遗漏的数据细微特征，从而提升了对噪声和模型误设的鲁棒性。
• 交叉验证实现了图推理与学习型推理组件之间自动且有效的平衡。
• 推理算法的循环结构支持潜在变量估计的迭代优化，从而提升了收敛性和精度。