[论文解读] Factorized Multi-Modal Topic Model

Seppo Virtanen, Yangqing Jia+2 more|arXiv (Cornell University)|Oct 16, 2012

Topic Modeling参考文献 13被引用 33

一句话总结

本文提出了一种基于层次狄利克雷过程的新型主题模型，通过将变化分解为模态共享和模态私有成分，联合学习跨多种模态（如文本和图像）的共享主题和私有主题。该模型实现了有效的跨模态检索，并在使用一种模态的样本查询另一种模态时优于现有方法，尤其在模态之间仅存在弱相关性时表现更优。

ABSTRACT

Multi-modal data collections, such as corpora of paired images and text snippets, require analysis methods beyond single-view component and topic models. For continuous observations the current dominant approach is based on extensions of canonical correlation analysis, factorizing the variation into components shared by the different modalities and those private to each of them. For count data, multiple variants of topic models attempting to tie the modalities together have been presented. All of these, however, lack the ability to learn components private to one modality, and consequently will try to force dependencies even between minimally correlating modalities. In this work we combine the two approaches by presenting a novel HDP-based topic model that automatically learns both shared and private topics. The model is shown to be especially useful for querying the contents of one domain given samples of the other.

研究动机与目标

• 为解决现有主题模型在处理多模态数据时无法区分模态间共享与私有主题的局限性。
• 克服当前模型在最小相关模态之间强制引入人为依赖关系的缺陷。
• 开发一种统一的概率框架，结合典型相关分析在连续数据上的优势与主题模型在计数数据上的优势。
• 实现有效的跨模态查询，特别是在以一种模态作为查询来检索另一种模态内容时。

提出的方法

• 该模型使用层次狄利克雷过程（HDP）实现对主题的非参数推断，从而自动发现主题数量。
• 它将生成过程分解为解释模态间共现的共享主题和每个模态特有的私有主题。
• 在给定共享和私有主题的条件下，每个模态的观测（如文本中的词频、图像特征）被建模为条件独立。
• 该模型采用折叠吉布斯采样推断过程，以估计主题和主题分配的后验分布。
• 通过尊重模态特异性和跨模态依赖关系的联合似然公式，联合学习共享和私有主题分布。
• 该模型在成对的图文语料上进行训练，推断过程通过最大化观测数据的边际似然进行优化。

实验结果

研究问题

• RQ1 在多模态数据中，主题模型能否有效区分跨模态共享的主题与单个模态特有的主题？
• RQ2 当模态之间仅存在弱相关性时，引入私有主题在多模态检索性能方面有何提升？
• RQ3 所提出的模型在学习有意义且解耦的表示方面，相较于现有模型有多大的性能优势？
• RQ4 该模型能否在无需预先指定的情况下自动确定共享和私有主题的数量？
• RQ5 该模型在使用一种模态的查询从另一模态检索内容时，表现如何？

主要发现

• 该模型成功学习了共享和私有主题，从而实现了对多模态数据更准确且可解释的表示。
• 它显著提升了跨模态检索性能，尤其在模态间相关性较弱或存在噪声的情况下。
• 引入私有主题可防止模型在无关模态之间强制建立虚假依赖关系。
• 在图像-文本数据集上的实证结果表明，该模型在检索准确率和主题一致性方面优于基线方法。
• 该模型在零样本跨模态检索中表现更优，即一种模态的查询可有效检索到另一种模态的相关内容。
• 基于HDP的结构使模型能够自动发现主题数量，减少了对手动超参数调优的需求。