[论文解读] Convolutional Poisson Gamma Belief Network

Chaojie Wang, Bo Chen+2 more|arXiv (Cornell University)|May 14, 2019

Topic Modeling被引用 4

一句话总结

本文提出卷积泊松伽马信念网络（CPGBN），一种深度生成模型，通过在独热词向量上应用卷积操作以保留词序并学习分层短语级主题。通过将卷积泊松因子分析与伽马信念网络结合，并引入一种新型概率池化层，CPGBN 在文本分类任务中实现了最先进性能，同时通过吉布斯采样和基于威布尔分布的变分自编码器，提供可解释的、顺序感知的潜在表示。

ABSTRACT

For text analysis, one often resorts to a lossy representation that either completely ignores word order or embeds each word as a low-dimensional dense feature vector. In this paper, we propose convolutional Poisson factor analysis (CPFA) that directly operates on a lossless representation that processes the words in each document as a sequence of high-dimensional one-hot vectors. To boost its performance, we further propose the convolutional Poisson gamma belief network (CPGBN) that couples CPFA with the gamma belief network via a novel probabilistic pooling layer. CPFA forms words into phrases and captures very specific phrase-level topics, and CPGBN further builds a hierarchy of increasingly more general phrase-level topics. For efficient inference, we develop both a Gibbs sampler and a Weibull distribution based convolutional variational auto-encoder. Experimental results demonstrate that CPGBN can extract high-quality text latent representations that capture the word order information, and hence can be leveraged as a building block to enrich a wide variety of existing latent variable models that ignore word order.

研究动机与目标

• 为解决现有主题模型忽略词序的局限性，通过保留文本的完整序列结构来改进表示质量。
• 开发一种深层分层生成模型，通过在独热词表示上应用卷积操作，捕捉短语级语义。
• 通过向上-向下吉布斯采样器联合训练多随机层潜在变量，提升推理效率。
• 通过小批量随机梯度MCMC和基于威布尔分布的变分自编码器，实现可扩展的推理，适用于大规模语料。
• 将模型扩展至监督设置（sCPGBN），结合生成式表征学习与判别式深度神经网络。

提出的方法

• 提出卷积泊松因子分析（CPFA），将文档建模为独热向量序列，并应用卷积滤波器以检测短语级模式。
• 引入一种新型概率文档级池化层，将CPFA与伽马信念网络（GBN）耦合，实现在多层随机变量上的分层主题学习。
• 开发一种向上-向下吉布斯采样器，用于联合训练所有层，实现在GPU上高效、可并行计算的推理。
• 提出一种基于威布尔分布的卷积变分自编码器（VAE），实现推理的加速，显著提升大规模数据集上的训练与测试效率。
• 通过在统一概率框架下将CPGBN的深层潜在表征与判别式神经网络结合，构建监督扩展模型sCPGBN。
• 采用分层生成过程：低层检测特定短语，高层通过池化与随机深度逐步学习更抽象、更一般的主题。

实验结果

研究问题

• RQ1 能否设计一种直接在独热词向量上操作的深度生成模型，以保留词序并提升下游NLP任务的表征质量？
• RQ2 如何有效将卷积操作应用于稀疏、高维的独热词序列，以检测有意义的短语级模式？
• RQ3 概率池化机制能否成功地将卷积因子分析模型与多随机层深度生成模型（如伽马信念网络）耦合？
• RQ4 所提出的CPGBN模型在文本分类任务中是否优于现有的词袋模型、词嵌入模型或基于CNN的模型，同时保持可解释性？
• RQ5 增加CPGBN中随机隐藏层的数量在多大程度上能提升长而复杂文本的表征质量与泛化能力？

主要发现

• sCPGBN在IMDB数据集上使用三层随机结构达到93.8%的准确率，优于所有基线模型，包括CNN-non-static（93.4%）和SVM-wv（90.1%）。
• 在ELEC数据集上达到93.7%的准确率，在IMDB上达到92.6%的准确率，三层结构在词袋与词嵌入基线模型上均表现出一致优势。
• sCPGBN的性能随深度增加而提升，表明更深的分层表征能捕捉更复杂的语义结构。
• 基于威布尔分布的变分自编码器实现了快速的推理加速，与标准MCMC方法相比，显著提升了大规模语料上的训练与测试效率。
• CPGBN能学习到高度可解释的短语级主题，如‘I like it’或‘don’t hate’，这些主题语义明确且保留了词序。
• 与CNN-one-hot相比，该模型在长文本上减少了过拟合现象，表明深层分层生成建模能有效捕捉高阶统计特性。