[论文解读] Mining Associated Text and Images with Dual-Wing Harmoniums

Eric P. Xing, Rong Yan+1 more|arXiv (Cornell University)|Jul 4, 2012

Image Retrieval and Classification Techniques参考文献 4被引用 32

一句话总结

该论文提出了一种双翼谐振器模型，采用多元正态分布表示主题，并分别结合泊松分布和高斯分布对词频和颜色直方图进行建模，实现了多媒体数据中高效推理与鲁棒的主题混合。该模型在TRECVID 2003新闻视频数据上的分类、检索和图像标注任务中优于LDA和GM-LDA，尤其在低词频条件下表现更优。

ABSTRACT

We propose a multi-wing harmonium model for mining multimedia data that extends and improves on earlier models based on two-layer random fields, which capture bidirectional dependencies between hidden topic aspects and observed inputs. This model can be viewed as an undirected counterpart of the two-layer directed models such as LDA for similar tasks, but bears significant difference in inference/learning cost tradeoffs, latent topic representations, and topic mixing mechanisms. In particular, our model facilitates efficient inference and robust topic mixing, and potentially provides high flexibilities in modeling the latent topic spaces. A contrastive divergence and a variational algorithm are derived for learning. We specialized our model to a dual-wing harmonium for captioned images, incorporating a multivariate Poisson for word-counts and a multivariate Gaussian for color histogram. We present empirical results on the applications of this model to classfication, retrieval and image annotation on news video collections, and we report an extensive comparison with various extant models.

研究动机与目标

• 为解决LDA等有向模型在多媒体数据中主题混合能力不足及推理效率低下的问题。
• 探索无向图模型作为LDA在文本与图像联合分析中的替代方案。
• 通过基于泊松分布的词频建模，提升在低词频场景下的鲁棒性。
• 通过多元正态分布实现灵活的连续主题表示，替代基于单纯形的狄利克雷先验。
• 在真实世界任务中评估性能：使用TRECVID 2003数据集进行分类、检索和图像标注。

提出的方法

• 提出一种多翼谐振器（MWH）作为无向图模型，其隐层单元与输入单元以二部图结构相连。
• 将主题建模为多元正态随机变量，实现连续且无约束的主题表示。
• 使用多元泊松分布对词频进行建模，其强度由主题特征的线性组合决定。
• 使用多元高斯分布对图像颜色直方图进行建模，其均值受相同主题特征的影响。
• 采用对比分歧与变分推理相结合的方法进行模型学习，兼顾效率与准确性。
• 将MWH特化为双翼谐振器（DWH）以适用于带字幕图像，分别设置文本与图像特征的独立输入分支。

实验结果

研究问题

• RQ1 无向模型如谐振器是否能在多媒体主题建模中超越LDA等有向模型？
• RQ2 将主题建模为多元正态分布是否能提升主题混合的鲁棒性，尤其是在低词频条件下？
• RQ3 基于泊松分布的词频建模是否能降低对虚假词频的敏感性，相比多项分布模型？
• RQ4 DWH模型在真实世界任务（如新闻视频集合中的图像标注与检索）中表现如何？
• RQ5 DWH模型的优越性能是源于模型结构，还是学习算法（如对比分歧）？

主要发现

• DWH模型在图像检索任务中的平均精度高于GM-Mix和GM-LDA，尤其在使用更多潜在维度时表现更优。
• 对比分歧训练在超过1000次迭代后仍保持稳定性能，表明对过拟合具有鲁棒性，且模型优势源于其架构而非学习算法。
• 变分推理结果证实DWH在各类模型中占据主导地位，尤其在图像标注任务中表现突出。
• 基于泊松分布的词频模型即使在仅出现一次词的情况下也能实现稳定主题混合，而多项分布模型则会将此类词分配给单一主题。
• 多元正态主题表示支持灵活的连续主题建模，且由于主题间共享缩放参数，可能降低对虚假词频的敏感性。
• 即使在词频较低时，模型性能依然强劲，表明其对文本特征的数据稀疏性具有较强鲁棒性。