[论文解读] Latent Space Energy-Based Model of Symbol-Vector Coupling for Text Generation and Classification

Bo Pang, Ying Wu|arXiv (Cornell University)|Aug 26, 2021

Topic Modeling被引用 5

一句话总结

该论文提出了一种符号-向量耦合的能量模型（SVEBM），联合学习用于文本生成的连续潜在向量和用于可解释性与分类的离散符号向量。通过基于能量的先验将两者耦合，并结合信息瓶颈正则化的近似推理，该模型在实现高质量、多样化且可解释的文本生成的同时，支持有效的半监督文本分类。

ABSTRACT

We propose a latent space energy-based prior model for text generation and classification. The model stands on a generator network that generates the text sequence based on a continuous latent vector. The energy term of the prior model couples a continuous latent vector and a symbolic one-hot vector, so that discrete category can be inferred from the observed example based on the continuous latent vector. Such a latent space coupling naturally enables incorporation of information bottleneck regularization to encourage the continuous latent vector to extract information from the observed example that is informative of the underlying category. In our learning method, the symbol-vector coupling, the generator network and the inference network are learned jointly. Our model can be learned in an unsupervised setting where no category labels are provided. It can also be learned in semi-supervised setting where category labels are provided for a subset of training examples. Our experiments demonstrate that the proposed model learns well-structured and meaningful latent space, which (1) guides the generator to generate text with high quality, diversity, and interpretability, and (2) effectively classifies text.

研究动机与目标

• 开发一种生成模型，通过在潜在空间中引入离散符号与连续向量的结构，实现可解释的文本生成。
• 解决纯连续或纯离散潜在空间在捕捉文本生成中表达能力与可解释性方面的局限性。
• 将信息瓶颈正则化整合到联合学习框架中，以提升表征学习效果。
• 支持端到端优化生成器、推理网络与符号-向量耦合机制的无监督与半监督训练。
• 证明耦合的潜在空间能够支持高质量、多样化且可控的文本生成，同时实现高精度分类。

提出的方法

• 构建一种基于潜在空间能量的先验模型，通过能量函数 pα(y,z) 将连续潜在向量 (z) 与离散符号的一维向量 (y) 耦合。
• 使用生成网络将潜在向量 z 映射到文本序列 x，实现自顶向下的文本生成。
• 采用近似推理网络 qϕ(z|x) 从观测文本中高效推断连续潜在向量，支持可扩展训练。
• 提出基于对数似然变分下界的联合学习目标，同时优化符号-向量耦合、生成器与推理网络。
• 通过最大化连续潜在向量 z 与符号标签 y 之间的互信息，应用信息瓶颈正则化，促使 z 提取与类别相关的信息特征。
• 支持无监督学习（无标签）与半监督学习（仅部分数据有标签），其中符号向量通过从推断出的 z 经 softmax 推断得出。

实验结果

研究问题

• RQ1 联合的能量基先验模型是否能通过耦合连续与离散潜在变量，提升文本生成的可解释性与质量？
• RQ2 该模型在仅使用部分标注样本的情况下，执行半监督文本分类的效率如何？
• RQ3 引入信息瓶颈正则化是否能促使潜在空间中出现更有意义且解耦的表征？
• RQ4 符号-向量耦合是否能在推理阶段无需显式标签监督的情况下，实现准确且可解释的分类？
• RQ5 与现有基于 VAE 或 EBM 的模型相比，该模型在生成质量与分类准确率方面表现如何？

主要发现

• 所提出的 SVEBM 学习到一个结构良好且语义明确的潜在空间，支持高质量、多样化且可解释的文本生成。
• 该模型在文本分类任务中表现强劲，半监督设置下准确率因符号向量在表征学习中的作用而进一步提升。
• 信息瓶颈正则化成功促使连续潜在向量提取出对潜在类别具有信息量的特征。
• 符号-向量耦合、生成器与推理网络的联合优化实现了稳定且高效的训练，无需额外的辅助网络。
• 与使用高斯混合先验或独立推理头的先前方法相比，该模型在解耦表征学习方面表现更优。
• 采用近似推理而非 MCMC 采样，实现了高效且可扩展的训练，尤其在信息瓶颈优化背景下优势显著。