[论文解读] Importance Weighted Adversarial Variational Autoencoders for Spike Inference from Calcium Imaging Data

Daniel Jiwoong Im, Sridhama Prakhya+3 more|arXiv (Cornell University)|Jun 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 4

一句话总结

本文提出重要性加权对抗变分贝叶斯（IW-AVB）与重要性加权对抗自编码器（IW-AAE），将对抗训练与重要性加权相结合，以改进潜在变量模型中的后验近似。该方法实现了对离散二值脉冲发放序列的快速、并行相关后验采样，在钙成像数据的脉冲反演中显著优于因子化VAE后验，同时保持了高效率。

ABSTRACT

The Importance Weighted Auto Encoder (IWAE) objective has been shown to improve the training of generative models over the standard Variational Auto Encoder (VAE) objective. Here, we derive importance weighted extensions to AVB and AAE. These latent variable models use implicitly defined inference networks whose approximate posterior density q_ϕ(z|x) cannot be directly evaluated, an essential ingredient for importance weighting. We show improved training and inference in latent variable models with our adversarially trained importance weighting method, and derive new theoretical connections between adversarial generative model training criteria and marginal likelihood based methods. We apply these methods to the important problem of inferring spiking neural activity from calcium imaging data, a challenging posterior inference problem in neuroscience, and show that posterior samples from the adversarial methods outperform factorized posteriors used in VAEs.

研究动机与目标

• 为解决在神经活动反演中学习准确、相关后验分布于离散二值脉冲发放序列的挑战。
• 将重要性加权扩展至后验密度隐式定义且难以显式计算的对抗变分自编码器（AVB与AAE）中。
• 通过结合对抗训练与重要性加权，改进从钙成像中进行脉冲反演的后验推断质量。
• 实现对相关脉冲后验的快速、并行采样，克服自回归模型的序列采样瓶颈。
• 建立对抗目标与边缘似然准则之间的理论联系。

提出的方法

• 提出IW-AVB与IW-AAE，将重要性加权自编码器（IWAE）目标扩展至后验隐式定义的模型，如AVB与AAE。
• 使用对抗训练学习一个推理网络，将噪声映射为后验样本，无需显式计算后验密度。
• 在训练过程中使用多个重要性加权样本，以收紧对数似然的下界，改善模型证据估计。
• 通过使用生物物理生成模型将脉冲发放序列映射为荧光信号，以及使用卷积神经网络作为推理网络，将模型应用于脉冲反演。
• 使用对抗目标训练模型，通过判别器网络匹配先验与后验分布。
• 采用非摊销与摊销推理设置，以评估模型在不同神经元上的性能与泛化能力。

实验结果

研究问题

• RQ1 能否在后验隐式定义的对抗变分自编码器（AVB与AAE）中有效应用重要性加权？
• RQ2 经对抗训练的推理网络结合重要性加权，是否在脉冲反演中产生优于标准VAE因子化后验的后验近似？
• RQ3 对抗训练能否生成既准确又可高效并行采样的离散脉冲发放序列相关后验样本？
• RQ4 IW-AAE与IW-AVB目标与边缘似然或最优传输准则之间存在何种理论关系？
• RQ5 所提出方法在摊销推理中是否具有跨神经元泛化能力？与自回归基线相比，其在速度与准确率方面表现如何？

主要发现

• IW-AVB、AAE与IW-AAE实现的后验推断性能介于VIMCO-FACT（因子化）与VIMCO-CORR（自回归）之间，但推理速度显著更快。
• 经对抗训练的推理网络生成的相关后验样本在准确性上优于因子化VAE后验，其脉冲相关性与真实脉冲的相关性更高。
• 所提方法在速度上显著优于VIMCO-CORR（需序列采样），实现了相关脉冲发放序列的并行采样。
• 在摊销推理中，IW-AVB、AAE与IW-AAE甚至优于非摊销基线，表明其在神经元间具有强大的泛化能力。
• 理论分析揭示了对抗目标与对数似然之间的联系，澄清了AAE与Wasserstein自编码器目标之间的关系。
• 实验结果表明，IW-AVB与IW-AAE生成的后验近似在假阴性数量上少于VIMCO-FACT，在假阳性数量上少于VIMCO-CORR，表明检测性能更加平衡。