[论文解读] Generative Temporal Models with Memory

Mevlana Gemici, Chia-Chun Hung+6 more|arXiv (Cornell University)|Feb 15, 2017

Topic Modeling参考文献 39被引用 40

一句话总结

本文提出生成时序模型记忆（GTMMs），通过将外部记忆系统整合到基于变分推断的生成模型中，以改善长程时序依赖建模。通过使用可微记忆访问机制，将记忆存储与计算解耦，GTMMs 在具有稀疏长程依赖的任务中实现了最先进性能，其重建质量和生成质量均优于标准 RNN 模型（如 VRNN 和 LSTM）。

ABSTRACT

We consider the general problem of modeling temporal data with long-range dependencies, wherein new observations are fully or partially predictable based on temporally-distant, past observations. A sufficiently powerful temporal model should separate predictable elements of the sequence from unpredictable elements, express uncertainty about those unpredictable elements, and rapidly identify novel elements that may help to predict the future. To create such models, we introduce Generative Temporal Models augmented with external memory systems. They are developed within the variational inference framework, which provides both a practical training methodology and methods to gain insight into the models' operation. We show, on a range of problems with sparse, long-term temporal dependencies, that these models store information from early in a sequence, and reuse this stored information efficiently. This allows them to perform substantially better than existing models based on well-known recurrent neural networks, like LSTMs.

研究动机与目标

• 解决标准生成时序模型在捕捉长程依赖时因固定阶马尔可夫假设和有限记忆容量而产生的局限性。
• 通过将记忆存储与计算分离，克服循环网络的双重负担——即在保持长期信息的同时实现实时计算。
• 开发一种通用的生成时序模型架构，支持多种记忆系统，以探索数据效率、建模能力与生成质量之间的权衡。
• 证明外部记忆可提升长时程序列生成中的泛化能力和连贯性，尤其在具有周期性或冗余结构的任务中。
• 研究不同记忆访问机制（如基于内容、LRU、DNC）对高维序列数据中建模性能与可扩展性的影响。

提出的方法

• 设计一种基于变分推断的生成时序模型框架，使用摊销推断在每个时间步近似潜在变量的后验分布。
• 集成外部记忆模块（如 NTM、DNC、LRU、内省网络），利用可微寻址机制存储和检索潜在状态。
• 采用记忆增强型 RNN 架构，其中隐藏状态基于循环动力学和记忆读写操作共同更新。
• 实现一种记忆写入操作，用于存储转换后的潜在变量或潜在状态本身，以实现预测信息的长期保留。
• 应用可微注意力机制，使推理和训练过程中能够动态访问相关记忆位置。
• 使用变分下界（ELBO）端到端训练模型，通过优化重建项与正则化项，平衡准确率与泛化能力。

实验结果

研究问题

• RQ1 与标准 RNN 相比，外部记忆系统是否能显著提升序列数据中长程时序依赖的建模能力？
• RQ2 不同记忆访问机制（如基于内容、LRU、DNC）如何影响数据效率、生成质量与模型可扩展性？
• RQ3 将潜在变量存储在记忆中是否能提升长时程生成任务中的泛化能力和连贯性，例如在完成完整旋转周期后的预测？
• RQ4 变分推断框架在记忆增强型生成模型中，能否支持稳定训练并实现有意义的可解释性？
• RQ5 在需要在具有周期性或冗余结构的长序列中进行插值的任务中，记忆增强模型是否能超越标准 VRNN 和 LSTM？

主要发现

• DNC-GTMM 和内省-GTMM 模型在序列重复时刻显著降低了 Kullback-Leibler 散度，表明记忆利用高效且长期预测稳定。
• GTMM 生成的样本，特别是 DNC- 和内省-GTMM 模型，在完整 30 步原地旋转过程中保持了视觉一致性，墙绘和天际线特征得以保留，而 VRNN 则失去了连贯性。
• VRNN 的变分下界最低，但生成质量差，凸显了仅依赖循环动力学而无显式记忆的局限性。
• 具备外部记忆系统模型在具有稀疏长程依赖的任务中表现更优，例如从旋转相机视角重建全景场景。
• 内省-GTMM 架构直接将潜在变量存储于记忆中，表现优异，提示了结合直接存储与基于内容寻址的混合模型具有潜力。
• 结果表明，记忆增强模型打破了传统滤波-平滑区分，通过覆盖机制使未来可修改过去潜在状态。