[论文解读] Deep Temporal Sigmoid Belief Networks for Sequence Modeling

Zhe Gan, Chunyuan Li+3 more|arXiv (Cornell University)|Sep 23, 2015

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 40

一句话总结

本文提出深度时序Sigmoid信念网络（DTSBNs），一种深度生成模型，通过引入时序反馈与分层结构，扩展了Sigmoid信念网络，以建模高维数据中的复杂序列依赖关系。通过将识别模型与变分推断相结合，该方法实现了可扩展的训练与快速推理，在多声部音乐、动作捕捉、文本及政治演讲等数据上实现了最先进（SOTA）的预测性能，同时能够合成多样化且连贯的序列。

ABSTRACT

Deep dynamic generative models are developed to learn sequential dependencies in time-series data. The multi-layered model is designed by constructing a hierarchy of temporal sigmoid belief networks (TSBNs), defined as a sequential stack of sigmoid belief networks (SBNs). Each SBN has a contextual hidden state, inherited from the previous SBNs in the sequence, and is used to regulate its hidden bias. Scalable learning and inference algorithms are derived by introducing a recognition model that yields fast sampling from the variational posterior. This recognition model is trained jointly with the generative model, by maximizing its variational lower bound on the log-likelihood. Experimental results on bouncing balls, polyphonic music, motion capture, and text streams show that the proposed approach achieves state-of-the-art predictive performance, and has the capacity to synthesize various sequences.

研究动机与目标

• 开发一种深层分层生成模型，以捕捉序列数据中复杂的非线性时序依赖关系。
• 通过引入具有分布式隐藏状态的深层架构，克服HMM与LDS在建模高维复杂动态时的局限性。
• 通过识别模型与生成模型联合训练，基于变分下界优化，实现高效且可扩展的学习与推理。
• 通过提供支持祖先采样与多模态数据（二值、实值、计数）的完整生成概率框架，推广TRBM与RNN。
• 展示模型在多种数据集上同时具备高精度序列预测与有意义序列合成的能力。

提出的方法

• 该模型构建了一个深度时序Sigmoid信念网络（TSBN）层次结构，其中每一层均为具有来自前序层上下文隐藏状态的SBN堆叠。
• 每个SBN利用上下文隐藏状态调节其隐藏单元偏置，实现基于时序上下文的动态适应。
• 引入识别模型以近似隐藏变量的后验分布，通过变分推断实现快速推理。
• 识别模型与生成模型通过最大化对数似然的变分下界联合训练，使用方差缩减技术以提升稳定性。
• 该模型支持祖先采样以实现直接数据生成，并通过灵活的条件分布处理多种数据类型（二值、实值、计数）。
• 通过包含随机与确定性隐藏层的深度架构，将该框架应用于序列数据，实现分层表征学习。

实验结果

研究问题

• RQ1 具有时序反馈的深层分层Sigmoid信念网络能否学习高维序列中的复杂非线性时序依赖？
• RQ2 在后验分布难以计算的深层时序生成模型中，如何实现可扩展且高效的推理？
• RQ3 所提出的识别模型结合变分推断是否在预测准确率与训练效率方面优于启发式或近似方法？
• RQ4 该模型能否在多种数据类型（如二值音乐、实值动作捕捉、计数型文本）上保持强大的生成与预测性能，同时实现良好泛化？
• RQ5 该模型在在多大程度上能够合成反映底层时序结构与语义模式的连贯且多样的序列？

主要发现

• DTSBN模型在多声部音乐数据集上实现了最先进（SOTA）的预测性能，log-likelihood估计优于RNN-NADE与RTRBM。
• 在JSB圣咏数据集上，模型生成了多样化且具有局部连贯性的音乐序列，并遵循基本和声规则，但长期旋律仍具挑战性。
• 在《国情咨文》数据集上，模型在预测精度方面取得显著提升，平均精度（MP）与预测精度（PP）均超过GP-DPFA与DRFM。
• 动态主题建模结果表明，学习到的主题轨迹呈现出有意义的时序模式，包括与伊拉克战争、第二次世界大战等重大历史事件相对应的峰值。
• 变分下界提供了比退火重要性采样更保守且可靠的对数似然估计，后者可能高估真实似然。
• 在多声部音乐数据集上，增加更深的网络层并未提升性能，表明单层TSBN在容量足够时已足以胜任该任务。