[论文解读] A Tutorial on Deep Latent Variable Models of Natural Language

Yoon Kim, Sam Wiseman+1 more|arXiv (Cornell University)|Dec 17, 2018

Topic Modeling参考文献 222被引用 33

一句话总结

本教程通过变分推断将概率图模型与深度学习相结合，介绍了用于自然语言处理的深度潜在变量模型。它介绍了摊销变分推断和变分自编码器作为可扩展训练的核心技术，展示了这些模型如何实现结构化、可解释且灵活的语言生成与表征学习。

ABSTRACT

There has been much recent, exciting work on combining the complementary strengths of latent variable models and deep learning. Latent variable modeling makes it easy to explicitly specify model constraints through conditional independence properties, while deep learning makes it possible to parameterize these conditional likelihoods with powerful function approximators. While these "deep latent variable" models provide a rich, flexible framework for modeling many real-world phenomena, difficulties exist: deep parameterizations of conditional likelihoods usually make posterior inference intractable, and latent variable objectives often complicate backpropagation by introducing points of non-differentiability. This tutorial explores these issues in depth through the lens of variational inference.

研究动机与目标

• 为自然语言处理中的深度潜在变量模型提供统一的入门介绍，弥合概率图模型与深度学习之间的鸿沟。
• 解释变分推断如何实现具有不可计算后验的模型中的可扩展后验近似。
• 展示推理网络（摊销推理）在高效训练深度生成模型中的应用。
• 综述深度潜在变量模型在自然语言处理中的关键应用，包括文本生成、表征学习与结构建模。
• 强调潜在变量在向神经网络模型中引入归纳偏置和施加结构约束中的作用。

提出的方法

• 使用有向图模型（DGMs）表达观测文本与潜在变量之间的联合分布。
• 应用变分推断，通过变分分布近似潜在变量的不可计算后验。
• 通过深度神经网络（推理网络）实现摊销推理，将观测映射到后验参数。
• 使用随机梯度下降最大化对数边缘似然的下界（ELBO）。
• 利用重参数化梯度，实现通过随机潜在变量的反向传播。
• 回顾了丢弃正则化与潜在变量建模之间的联系，表明丢弃可被解释为优化变分目标。

实验结果

研究问题

• RQ1 如何将深度神经网络与潜在变量模型结合，以提升自然语言处理中模型的可解释性与泛化能力？
• RQ2 在深度潜在变量模型中进行后验推断的关键挑战是什么，又该如何解决？
• RQ3 在哪些方面，深度潜在变量模型相较于如Transformer等确定性模型在特定自然语言处理任务中表现更优？
• RQ4 摊销变分推断如何实现深度生成模型的可扩展训练？
• RQ5 潜在变量在向神经架构中引入归纳偏置和施加结构约束方面发挥什么作用？

主要发现

• 使用深度推理网络的摊销变分推断可实现深度潜在变量模型的高效且可扩展训练。
• 经过恰当优化的潜在变量注意力机制在序列建模中可优于确定性注意力机制。
• 每个词元配备一个潜在变量的潜在变量语言模型在语言建模任务中达到最先进性能。
• 对数似然分数高的模型并不一定生成高质量样本，表明似然与生成质量之间存在脱节。
• 将丢弃解释为潜在变量目标，已显著提升深度网络的不确定性估计与泛化能力。
• 潜在变量模型可显式建模归纳偏置与结构约束（如有效句法树或解耦表征），这些在纯判别式模型中难以强制实现。