[论文解读] Gibbs Max-margin Topic Models with Data Augmentation

Jun Zhu, Ning Chen+2 more|arXiv (Cornell University)|Oct 10, 2013

Text and Document Classification Technologies参考文献 52被引用 74

一句话总结

本文提出Gibbs MedLDA，一种新颖的极大间隔监督主题模型，通过数据增强和凝聚吉布斯采样避免求解计算成本高昂的SVM子问题。通过解析积分狄利克雷先验和增强变量，最小化期望间隔损失，该方法在推理速度和分类准确率方面均优于现有极大间隔主题模型。

ABSTRACT

Max-margin learning is a powerful approach to building classifiers and structured output predictors. Recent work on max-margin supervised topic models has successfully integrated it with Bayesian topic models to discover discriminative latent semantic structures and make accurate predictions for unseen testing data. However, the resulting learning problems are usually hard to solve because of the non-smoothness of the margin loss. Existing approaches to building max-margin supervised topic models rely on an iterative procedure to solve multiple latent SVM subproblems with additional mean-field assumptions on the desired posterior distributions. This paper presents an alternative approach by defining a new max-margin loss. Namely, we present Gibbs max-margin supervised topic models, a latent variable Gibbs classifier to discover hidden topic representations for various tasks, including classification, regression and multi-task learning. Gibbs max-margin supervised topic models minimize an expected margin loss, which is an upper bound of the existing margin loss derived from an expected prediction rule. By introducing augmented variables and integrating out the Dirichlet variables analytically by conjugacy, we develop simple Gibbs sampling algorithms with no restricting assumptions and no need to solve SVM subproblems. Furthermore, each step of the "augment-and-collapse" Gibbs sampling algorithms has an analytical conditional distribution, from which samples can be easily drawn. Experimental results demonstrate significant improvements on time efficiency. The classification performance is also significantly improved over competitors on binary, multi-class and multi-label classification tasks.

研究动机与目标

• 解决现有极大间隔监督主题模型依赖迭代SVM子问题求解所导致的计算低效问题。
• 为极大间隔主题模型开发一种无需对后验分布施加限制性平均场假设的可扩展推理方法。
• 提升分类、回归及多任务学习任务中的时间效率与预测准确率。
• 通过利用每篇文档的局部增强变量，实现高效的并行化。
• 将数据增强技术推广至超越二分类任务的极大间隔潜在变量模型。

提出的方法

• 提出一种新的期望间隔损失函数，作为基于期望预测规则的标准间隔损失的上界。
• 引入增强变量，将极大间隔学习问题重新表述为适合吉布斯采样的贝叶斯推断框架。
• 通过利用共轭性，对狄利克雷超参数进行解析积分，实现凝聚吉布斯采样，从而获得闭式条件分布。
• 推导出主题分配与预测模型权重的高效采样步骤，每步均具有解析条件分布。
• 应用“增强并凝聚”策略，消除每次迭代中求解约束SVM子问题的需要。
• 通过推广间隔损失和采样过程，将该框架扩展至回归和多任务学习。

实验结果

研究问题

• RQ1 基于数据增强的方法是否能消除极大间隔主题模型中迭代求解SVM子问题的需要？
• RQ2 通过吉布斯采样最小化期望间隔损失，是否能实现比现有方法更快的推理速度和更好的泛化性能？
• RQ3 所提出的方法是否能在显著降低计算成本的同时保持高预测准确率？
• RQ4 Gibbs MedLDA在多类和多标签分类任务中的性能与最先进极大间隔主题模型相比如何？
• RQ5 该框架是否能自然地扩展至回归和多任务学习，同时保持相同的采样效率？

主要发现

• 所提出的Gibbs MedLDA方法在时间效率方面相比现有极大间隔主题模型有显著提升，尤其在大规模场景下表现突出。
• 在二分类、多分类和多标签任务上的分类性能显著优于对比方法，包括MedLDA及其他极大间隔模型。
• 凝聚吉布斯采样算法收敛更快，且避免了每次迭代中求解潜在SVM子问题的计算瓶颈。
• 每个采样步骤均具有闭式条件分布，从而实现高效可扩展的推理，无需变分近似。
• 该方法在回归和多任务学习中也表现出良好泛化能力，展现出其在标准分类任务之外的灵活性。
• 代码已公开发布，支持可复现性，并推动极大间隔潜在变量建模的进一步发展。