[论文解读] Factorized Topic Models

Chi Zhang, Carl Henrik Ek+2 more|arXiv (Cornell University)|Jan 15, 2013

Human Mobility and Location-Based Analysis参考文献 27被引用 4

一句话总结

本文提出了一种因子分解主题模型，通过在改进的LDA框架中引入一种新型因子分解先验，显式地将类别特定主题（信号）与共享主题（结构化噪声）分离，从而增强监督分类。该方法通过隔离判别性特征，在图像、文本和视频数据集上提升了分类准确率与稀疏性，优于标准LDA和SLDA，在图像数据上准确率提升高达84.50%，在视频动作识别任务上提升高达65.22%。

ABSTRACT

In this paper we present a modification to a latent topic model, which makes the model exploit supervision to produce a factorized representation of the observed data. The structured parameterization separately encodes variance that is shared between classes from variance that is private to each class by the introduction of a new prior over the topic space. The approach allows for a more eff{}icient inference and provides an intuitive interpretation of the data in terms of an informative signal together with structured noise. The factorized representation is shown to enhance inference performance for image, text, and video classification.

研究动机与目标

• 为解决监督分类中弱信噪比的问题，其中与类别无关的变异（如纹理、相机运动）主导数据特征。
• 通过显式建模数据变异为类别特定信号与类别共享噪声的组合，提升推理性能。
• 开发一种结构化、可解释的表示方法，通过稀疏性提升分类准确率与模型效率。
• 通过因子分解先验促进稀疏主题分布，实现更优的数据表示与计算效率。

提出的方法

• 在主题空间引入因子分解先验，将主题划分为类别私有（信号）与类别共享（噪声）两部分。
• 通过引入一种先验，使主题与类别标签高度相关或不相关，从而对标准LDA进行修改。
• 将主题分布θ分解为θ^p（类别私有）与θ^s（类别共享），仅使用θ^p进行分类。
• 采用结构化参数化方式，其中共享主题（θ^s）解释类别间共有的变异，而私有主题（θ^p）编码判别性特征。
• 使用带有新先验的变分推断，实现在大规模数据集上的高效可扩展训练。
• 在图像、文本和视频数据上应用该模型，分别使用SIFT、STIP和基于词的特征，并在学习到的视觉/文本词汇上进行主题建模。

实验结果

研究问题

• RQ1 能否构建一种主题模型，显式分离类别特定信号与类别共享噪声，以提升分类性能？
• RQ2 引入因子分解先验如何影响主题稀疏性与模型可解释性？
• RQ3 与标准LDA和SLDA相比，因子化表示是否在真实世界分类任务中带来更好性能？
• RQ4 该模型在不同数据模态（如图像、文本和视频）上的泛化能力如何？

主要发现

• 因子分解LDA模型在图像分类任务中达到84.50%的准确率，优于标准LDA（76.0%）和SLDA（84.00%）。
• 在KTH动作识别数据集上，模型准确率达到65.22%，显著高于标准LDA（38%）和SLDA（51.33%）。
• 模型产生了更稀疏的主题表示，表明其对判别性特征的编码更高效、更聚焦。
• 因子分解结构实现了信号与噪声的清晰分离，如图6所示，红线上下主题分布呈现明显分界。
• 该方法在多种数据类型上均表现出一致的性能提升，证实其鲁棒性与泛化能力。
• 结果表明，显式建模结构化噪声可显著提升推理性能，尤其在信噪比较低的场景下。