[论文解读] Factored Temporal Sigmoid Belief Networks for Sequence Learning

Jiaming Song, Zhe Gan+1 more|ArXiv.org|May 22, 2016

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 6

一句话总结

本文提出了一种因子化条件时序Sigmoid信念网络（FCTSBN），这是一种深度生成模型，通过三向权重张量将辅助信息作为条件，学习序列数据中的时序依赖关系。通过在不同风格间对转移矩阵进行因子分解，该模型减少了参数量，提升了泛化能力，并实现了序列生成中的可控风格混合，从而在包括气象和文本在内的多种数据集上，于预测和分类任务中达到了最先进性能。

ABSTRACT

Deep conditional generative models are developed to simultaneously learn the temporal dependencies of multiple sequences. The model is designed by introducing a three-way weight tensor to capture the multiplicative interactions between side information and sequences. The proposed model builds on the Temporal Sigmoid Belief Network (TSBN), a sequential stack of Sigmoid Belief Networks (SBNs). The transition matrices are further factored to reduce the number of parameters and improve generalization. When side information is not available, a general framework for semi-supervised learning based on the proposed model is constituted, allowing robust sequence classification. Experimental results show that the proposed approach achieves state-of-the-art predictive and classification performance on sequential data, and has the capacity to synthesize sequences, with controlled style transitioning and blending.

研究动机与目标

• 开发一种深度生成模型，以捕捉多种序列数据类型中的复杂时序依赖关系，同时基于辅助信息进行条件化。
• 通过在不同序列风格间对转移矩阵进行因子分解，降低模型复杂度并提升泛化能力。
• 在合成序列生成中实现可控的风格过渡与混合。
• 构建一种半监督学习框架，当辅助信息部分可用时，实现鲁棒的序列分类。
• 通过在不同风格间共享参数的因子化识别模型，实现学习与推理的可扩展性。

提出的方法

• 该模型通过引入三向权重张量来建模辅助信息与序列动态之间的乘法交互，扩展了时序Sigmoid信念网络（TSBN）。
• 将TSBN中的转移矩阵分解为对应于共享因子的矩阵乘积，从而减少参数数量，并实现在不同风格间的共享表征学习。
• 通过三向张量使用辅助信息选择或组合特定风格的转移矩阵，实现条件生成。
• 采用参数因子化的识别模型进行可扩展的变分推理，提升训练效率与泛化能力。
• 在半监督学习中，模型联合训练生成模型与分类器，从未观察到的序列中推断缺失的辅助信息。
• 在文本生成任务中，通过将连续输出钳位至最近的词向量，实现序列生成，从而保持语义结构。

实验结果

研究问题

• RQ1 深度生成模型能否通过辅助信息联合学习多种序列类型中的时序依赖关系与条件生成？
• RQ2 在特定风格的转移矩阵上进行参数因子分解在多大程度上提升了模型泛化能力并减少了过拟合？
• RQ3 该模型在未见训练数据的风格混合下，能在多大程度上生成具有可控风格混合的序列？
• RQ4 当辅助信息不完整时，该模型能否在半监督设置中实现鲁棒的序列分类？
• RQ5 与非因子化模型相比，因子化架构是否在预测性能与参数效率方面表现更优？

主要发现

• 因子化模型（FCTSBN）在25d气象数据集上的预测误差相比非因子化CTSBN相对降低了15.3%，测试误差为3.35±0.02。
• 两层深度FCTSBN（dFCTSBN）在2d气象数据集上实现了5.09±0.11的最低平均预测误差，优于所有基线模型，包括FCRBM与CTSBN。
• 在文本生成任务中，模型通过使用平均化的辅助信息成功生成了混合风格序列，生成的样本保持连贯性，并融合了《圣经》与《普通法》中的独特词汇。
• 通过联合训练分类器与生成模型以推断缺失的风格标签，该模型在半监督设置中表现出更优的分类准确率。
• 因子化架构在减少模型参数量的同时提升了性能，尤其在辅助信息丰富时（如25d vs. 2d）表现更优，表明其具有更强的表征学习能力。
• 该模型在预测建模与序列分类任务中均达到了最先进性能，证实了其在多样化序列数据上的有效性。