[论文解读] Constructing Hierarchical Image-tags Bimodal Representations for Word Tags Alternative Choice

Fangxiang Feng, Ruifan Li+1 more|arXiv (Cornell University)|Jul 4, 2013

Natural Language Processing Techniques参考文献 15被引用 11

一句话总结

本文提出了一种用于图像-标签标注的分层双模态表示框架，利用堆叠的RBM和双模态自编码器，在三个层次的表示上学习跨模态相似性。该方法通过利用数据特定的标签选择策略，在ICML 2013多模态学习挑战中实现了私有测试集上100%的平均准确率，排名第一。

ABSTRACT

This paper describes our solution to the multi-modal learning challenge of ICML. This solution comprises constructing three-level representations in three consecutive stages and choosing correct tag words with a data-specific strategy. Firstly, we use typical methods to obtain level-1 representations. Each image is represented using MPEG-7 and gist descriptors with additional features released by the contest organizers. And the corresponding word tags are represented by bag-of-words model with a dictionary of 4000 words. Secondly, we learn the level-2 representations using two stacked RBMs for each modality. Thirdly, we propose a bimodal auto-encoder to learn the similarities/dissimilarities between the pairwise image-tags as level-3 representations. Finally, during the test phase, based on one observation of the dataset, we come up with a data-specific strategy to choose the correct tag words leading to a leap of an improved overall performance. Our final average accuracy on the private test set is 100%, which ranks the first place in this challenge.

研究动机与目标

• 通过在多个层次上构建分层表示，解决图像-标签标注中的多模态学习挑战。
• 通过建模图像与标签之间的跨模态关系，提高标签选择的准确性。
• 基于观测到的数据集模式，在推理过程中开发一种数据特定的标签词选择策略。
• 在ICML 2013多模态学习挑战的图像-标签标注任务中实现最先进性能。
• 将图像描述符（MPEG-7、gist）和文本词袋特征整合到统一的双模态学习框架中。

提出的方法

• 一级表示通过MPEG-7和gist图像描述符构建，与竞赛提供的特征相结合，同时使用4000词词典上的词袋模型对标签词进行编码。
• 二级表示通过两个堆叠的受限玻尔兹曼机（RBMs）学习，分别用于图像模态和文本模态，以捕捉分层特征。
• 三级表示通过双模态自编码器学习，用于建模图像-标签对之间的成对相似性与差异性。
• 在测试阶段应用数据特定策略，基于数据集中观察到的模式，选择最准确的标签词。
• 整个框架端到端训练，重点在于保留所有三个表示层次上的跨模态语义关系。

实验结果

研究问题

• RQ1 如何在图像和文本模态之间有效构建分层表示，以提升图像-标签标注性能？
• RQ2 建模图像与其关联标签之间跨模态关系的最优方式是什么？
• RQ3 数据特定的标签选择策略是否能显著提升在多模态学习基准上的性能？
• RQ4 堆叠的RBMs和双模态自编码器在学习判别性图像-标签表示方面有何贡献？
• RQ5 所学习的双模态表示在图像标注任务中，相较于传统单模态或非分层方法，能多大程度上实现性能超越？

主要发现

• 所提出方法在ICML 2013多模态学习挑战的私有测试集上实现了100%的平均准确率。
• 双模态自编码器在三级表示阶段有效捕捉了图像-标签对之间的相似性与差异性。
• 堆叠的RBMs在二级表示阶段成功学习了图像和文本模态的深层分层特征。
• 数据特定的标签选择策略在实现顶尖性能中起到了关键作用，表明可有效利用强数据集特定模式。
• 将MPEG-7、gist与词袋特征与学习到的表示相结合，相比基线方法实现了更优性能。