[论文解读] A Generative Deep Recurrent Model for Exchangeable Data

Iryna Korshunova, Jonas Degrave+4 more|arXiv (Cornell University)|Feb 21, 2018

Gaussian Processes and Bayesian Inference参考文献 3被引用 1

一句话总结

本文提出了一种生成式深度循环模型，可在可交换的高维数据集上实现精确的贝叶斯推断。通过确保排列不变性并消除变分近似的需求，该模型支持高效、线性时间的条件生成，并在少样本学习、序列建模和异常检测任务中表现优异。

ABSTRACT

We present a novel model architecture which leverages deep learning tools to perform exact Bayesian inference on sets of high dimensional, complex observations. Our model is provably exchangeable, meaning that the joint distribution over observations is invariant under permutation: this property lies at the heart of Bayesian inference. The model does not require variational approximations to train, and new samples can be generated conditional on previous samples, with cost linear in the size of the conditioning set. The advantages of our architecture are demonstrated on learning tasks requiring generalisation from short observed sequences while modelling sequence variability, such as conditional image generation, few-shot learning, set completion, and anomaly detection.

研究动机与目标

• 开发一种深度学习架构，支持在复杂、高维观测数据集上的精确贝叶斯推断。
• 确保模型具有可证明的可交换性，保持观测联合分布的排列不变性。
• 在训练过程中消除对变分近似方法的依赖，以实现更精确的推断。
• 实现新样本的高效条件生成，计算成本与条件集大小呈线性关系。
• 在涉及短序列、序列可变性及有限监督的任务中展示泛化能力。

提出的方法

• 该模型采用深度循环架构，通过在网络结构上施加对输入排列不变的约束，以保持可交换性。
• 利用循环处理来建模集合中各元素之间的依赖关系，同时通过权重重用和对称操作保持可交换性。
• 通过模型的结构特性实现精确的贝叶斯推断，无需使用变分近似，从而实现可计算的推断。
• 通过基于先前观测元素的自回归采样实现条件生成，其复杂度与条件集大小呈线性增长。
• 采用端到端的似然最大化方法进行训练，确保与贝叶斯原理的一致性。

实验结果

研究问题

• RQ1 深度循环模型是否能在无需变分近似的情况下，对可交换的高维数据实现精确的贝叶斯推断？
• RQ2 该模型在少样本学习和集合补全任务中，从短观测序列中泛化的性能如何？
• RQ3 可交换性在建模序列可变性和异常检测任务中的性能提升程度如何？
• RQ4 条件生成是否高效且可扩展，其计算成本是否与条件集大小呈线性关系？

主要发现

• 该模型在可交换数据集上实现了精确的贝叶斯推断，无需使用变分近似，显著提升了推断精度。
• 实现了高效的条件生成，计算成本与条件集大小呈线性关系，支持可扩展的推断。
• 在少样本学习和集合补全任务中表现出强大的泛化能力，即使训练序列有限亦表现良好。
• 由于模型通过可交换建模能够捕捉复杂的序列可变性，异常检测性能得到显著提升。