[论文解读] Approximating exponential family models (not single distributions) with a two-network architecture

Sean R. Bittner, John P. Cunningham|arXiv (Cornell University)|Mar 18, 2019

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 5

一句话总结

本文提出了一种指数族网络（EFN），这是一种双网络深度生成架构，通过神经网络参数化模型的自然参数，能够近似整个不可解指数族模型（而不仅单个分布）。该方法通过直接查表实现即时后验推断，在跨多个数据集推断后验分布时，相比标准变分推断显著降低了计算成本。

ABSTRACT

Recently much attention has been paid to deep generative models, since they have been used to great success for variational inference, generation of complex data types, and more. In most all of these settings, the goal has been to find a particular member of that model family: optimized parameters index a distribution that is close (via a divergence or classification metric) to a target distribution. Much less attention, however, has been paid to the problem of learning a model itself. Here we introduce a two-network architecture and optimization procedure for learning intractable exponential family models (not a single distribution from those models). These exponential families are learned accurately, allowing operations like posterior inference to be executed directly and generically with an input choice of natural parameters, rather than performing inference via optimization for each particular distribution within that model.

研究动机与目标

• 解决现有深度生成模型仅能从模型族中学习单一分布的局限性，而非整个族。
• 开发一种方法，通过双网络架构学习对不可解指数族模型的受限、可处理的近似，同时保留特定领域的结构。
• 通过训练单一模型支持根据自然参数直接查表获取后验分布，实现在多个数据集上的摊销后验推断。
• 在实际应用中展示计算优势，例如在需要重复推断的神经元放电序列分析中。

提出的方法

• EFN架构使用两个深度神经网络：一个参数网络将自然参数映射为模型参数，一个密度网络从所得分布中生成样本。
• 通过变分Kullback-Leibler散度的随机优化变体进行模型训练，比较学习到的模型与目标指数族模型。
• 参数网络确保模型参数空间与目标指数族的自然参数化对齐，保持正确的维度和结构。
• 该方法利用了大量真实后验分布本身为指数族的事实，使EFN能够学习一种通用的后验近似，从而在不同数据集间泛化。
• 该方法实现‘摊销’推断，不是按数据集，而是按模型进行，推断仅需一次前向传播即可完成。
• 该框架在神经元放电序列数据上进行了验证，学习了对数正态泊松过程后验族。

实验结果

研究问题

• RQ1 能否训练一个深度生成模型来近似整个指数族分布，而非仅单个成员？
• RQ2 通过双网络架构学习受限模型类，是否能获得比使用归一化流的标准变分推断更优的后验近似？
• RQ3 EFN架构是否能通过仅提供自然参数作为输入，实现对任意新数据集的即时后验推断？
• RQ4 与为每个数据集独立运行变分推断相比，一次性训练EFN的计算权衡如何？
• RQ5 由于受限模型空间的归纳偏置，EFN是否能在ELBO值上优于标准归一化流？

主要发现

• 在神经元放电序列数据上的视觉和定量比较表明，EFN实现了与归一化流相当质量的后验近似。
• 对于给定的ELBO目标，当数据集数量超过一个决策边界后，EFN的计算效率显著优于标准变分推断，此后每增加一个数据集即可实现无限的计算节省。
• 在某些情况下，EFN可实现比归一化流更高的平均ELBO，证明了在受限、结构化模型空间中学习的优势。
• 训练EFN的时间长于训练归一化流，但该时间成本在所有未来的推断任务中被摊销，使其在大规模应用中极为高效。
• 该方法通过直接查表实现即时后验推断——无需为每个数据集进行优化——极大减少了训练后的推断时间。
• 该方法具有通用性，可推广至神经科学之外的应用，潜在地支持预训练的EFN在任何涉及不可解指数族后验的场景中实现快速后验推断。