[论文解读] Discriminative Topic Modeling with Logistic LDA

Iryna Korshunova, Hanchen Xiong+2 more|arXiv (Cornell University)|Sep 3, 2019

Computational and Text Analysis Methods被引用 8

一句话总结

该论文提出 Logistic LDA，一种判别式主题模型，通过用神经网络替代 LDA 的生成组件，在保留其可解释性和群体结构归纳偏置的同时，将 LDA 扩展至任意输入类型（如图像、文本嵌入和多模态数据）。该模型仅使用词嵌入和无监督训练，就在文档分类任务中取得了 84.4% 的准确率（20-Newsgroups 数据集），性能优于简单基线模型，并与复杂的 LSTM 模型相当。

ABSTRACT

Despite many years of research into latent Dirichlet allocation (LDA), applying LDA to collections of non-categorical items is still challenging. Yet many problems with much richer data share a similar structure and could benefit from the vast literature on LDA. We propose logistic LDA, a novel discriminative variant of latent Dirichlet allocation which is easy to apply to arbitrary inputs. In particular, our model can easily be applied to groups of images, arbitrary text embeddings, and integrates well with deep neural networks. Although it is a discriminative model, we show that logistic LDA can learn from unlabeled data in an unsupervised manner by exploiting the group structure present in the data. In contrast to other recent topic models designed to handle arbitrary inputs, our model does not sacrifice the interpretability and principled motivation of LDA.

研究动机与目标

• 开发一种主题模型，将 LDA 的适用范围从离散词汇扩展至更丰富的数据类型，如图像、文本嵌入和多模态集合。
• 在采用判别式学习方法以提升可扩展性和性能的同时，保留 LDA 的可解释性和结构归纳偏置。
• 通过利用项目群体结构（如推文、图片、视频）作为弱监督信号，实现无监督训练。
• 与深度神经网络及预训练嵌入（如 GloVe）无缝集成。
• 为文档分类提供一种轻量化、高效的替代方案，以替代复杂的序列模型（如 LSTM）

提出的方法

• Logistic LDA 用将输入特征（如词嵌入）映射到主题分布的神经网络替代 LDA 的生成组件，从而实现对任意输入类型的适用。
• 模型采用条件因子分解 $ p(m{c}, m{ heta} vert m{x})p(m{x}) $，其中 $ m{c} $ 为主题分配，$ m{ heta} $ 为模型参数，$ m{x} $ 为输入，使其具备判别性，同时保留 LDA 的结构归纳偏置。
• 使用均场变分推断在无监督、半监督或监督设置下训练模型，通过优化对数似然的变分下界实现。
• 针对监督训练，引入经验风险最小化方法，允许在标签可用时优化任意损失函数（如交叉熵）。
• 模型使用神经网络参数化条件分布 $ p(m{k}_{dn} vert m{x}_{dn}, m{ heta}) $，将 LDA 中的分类主题分配替换为可微、可学习的函数。
• 通过提取每个主题的关键词来保持主题可解释性，模型性能通过主题一致性分数和分类准确率进行评估。

实验结果

研究问题

• RQ1 能否设计一种判别式主题模型，以处理图像、文本嵌入和多模态数据等任意输入类型，同时保留 LDA 的可解释性？
• RQ2 利用群体级结构（如推文或图片集合）是否能有效实现无监督训练，而无需显式标签？
• RQ3 Logistic LDA 在标准 NLP 基准（如 20-Newsgroups）上的性能与 LSTMs 等深度学习基线相比如何？
• RQ4 轻量级、非生成式模型能否在提供显式主题表示的同时，达到与 oh-2LSTMp 等复杂模型相当的性能？
• RQ5 针对下游任务（如交叉熵）优化推理目标是否能获得优于对损失不敏感目标的性能？

主要发现

• Logistic LDA 仅使用 300 维 GloVe 词嵌入和轻量级神经网络，在 20-Newsgroups 文档分类基准上达到 84.4% 的准确率。
• 该模型性能与 SA-LSTM（一种使用预训练自编码器初始化的复杂 LSTM 分类器）相当，但训练时间仅需数小时而非数天。
• 使用均场变分推断进行无监督训练，成功发现语义连贯的主题，如“汽车”（如 bmw、car、engine）和“太空探索”（如 spacecraft、rocket、orbit）。
• 通过交叉熵损失优化推理目标，准确率显著提升至 84.4%，优于对损失不敏感的目标（82.2%），证实了任务特定优化的优势。
• 模型在无监督主题发现任务中表现优异，NPMI 一致性分数与 Srivastava 和 Sutton 等先进模型相当。
• Logistic LDA 在保持显式主题表示可解释性的同时，实现了与深度神经网络和任意输入模态的端到端训练。