[论文解读] Composing graphical models with neural networks for structured representations and fast inference

Matthew Johnson, David Duvenaud+3 more|arXiv (Cornell University)|Mar 20, 2016

Neural Networks and Applications参考文献 18被引用 232

一句话总结

本论文介绍结构化变分自动编码器（SVAEs），它将潜在图模型与神经网络观测模型相结合，通过识别网络实现快速推断并通过高效的信息传递。

ABSTRACT

We propose a general modeling and inference framework that composes probabilistic graphical models with deep learning methods and combines their respective strengths. Our model family augments graphical structure in latent variables with neural network observation models. For inference, we extend variational autoencoders to use graphical model approximating distributions with recognition networks that output conjugate potentials. All components of these models are learned simultaneously with a single objective, giving a scalable algorithm that leverages stochastic variational inference, natural gradients, graphical model message passing, and the reparameterization trick. We illustrate this framework with several example models and an application to mouse behavioral phenotyping.

研究动机与目标

• 将概率图模型与深度学习相结合，以学习结构化的潜在表示和非线性观测模型。
• 通过使用识别网络生成共轭的图模型势来实现快速、可处理的推断。
• 开发将随机变分推断、消息传递和重新参数化结合起来的SVAE算法，以实现端到端训练。
• 在深度视频中分割和分类小鼠行为等任务上演示该框架。
• 提供可扩展的一般建模模板（例如变形混合、潜在线性动态系统LDS，以及潜在切换线性动态系统SLDS），将离散/连续潜在结构与神经观测模型耦合。

提出的方法

• 提出一种通用建模框架，将潜在图模型与神经网络观测似然结合起来。
• 使用识别网络输出可与图模型推理整合的共轭指数族势。
• 开发SVAE目标函数，即对平均场变分目标的下界，通过随机梯度优化。
• 利用共轭指数族结构进行高效梯度计算，在可适用的情形下包含自然梯度。
• 提供示例：用于灵活聚类的变形混合、用于视频的潜在线性动态系统以及用于解析行为的潜在切换线性动态系统。
• 在一个统一的训练流水线中结合随机变分推断、图模型消息传递和重新参数化技巧。

实验结果

研究问题

• RQ1 我们如何同时学习结构化潜在表示和灵活的非线性观测模型？
• RQ2 识别网络是否可以产生共轭的图模型势，以实现对非共轭观测模型的高效推断？
• RQ3 如何对融合图模型与深度神经网络的模型进行端到端训练？
• RQ4 带有神经观测模型的结构化潜在模型（LDS、SLDS）是否能提升视频行为分割等任务？
• RQ5 相对于完全非共轭或完全共轭方法，SVAE在推断速度、优化稳定性等计算性方面有哪些好处？

主要发现

• 结构化变分自编码器使将图模型结构与神经观测模型相结合的模型能够进行端到端训练。
• 识别网络输出共轭势，允许在类似CRF的变分因子中进行快速消息传递推断。
• SVAE 在变分目标上提供下界，并对潜在参数进行可处理的自然梯度引导优化。
• 在合成数据和小鼠深度视频上的实验表明有效的潜在状态表示和准确的长期预测。
• LDS-SVAE 和 SLDS-SVAE 的变体显示出更快的学习速度，并从视频数据中显现出有意义的离散行为状态。