[论文解读] Multimodal sparse representation learning and applications

Miriam Cha, Youngjune Gwon+1 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Image and Video Retrieval Techniques参考文献 27被引用 13

一句话总结

本文提出了一种多模态稀疏表示学习框架，通过联合字典学习与稀疏编码，联合学习跨模态（如图像、文本、音频）的共享稀疏表示。通过强制实现共享稀疏性，该方法在多种任务（如情感分析、多媒体事件检测和图像去噪）中提升了分类与检索性能，实现了最先进结果，尤其在建模模态间非线性相关性的深度架构中表现突出。

ABSTRACT

Unsupervised methods have proven effective for discriminative tasks in a single-modality scenario. In this paper, we present a multimodal framework for learning sparse representations that can capture semantic correlation between modalities. The framework can model relationships at a higher level by forcing the shared sparse representation. In particular, we propose the use of joint dictionary learning technique for sparse coding and formulate the joint representation for concision, cross-modal representations (in case of a missing modality), and union of the cross-modal representations. Given the accelerated growth of multimodal data posted on the Web such as YouTube, Wikipedia, and Twitter, learning good multimodal features is becoming increasingly important. We show that the shared representations enabled by our framework substantially improve the classification performance under both unimodal and multimodal settings. We further show how deep architectures built on the proposed framework are effective for the case of highly nonlinear correlations between modalities. The effectiveness of our approach is demonstrated experimentally in image denoising, multimedia event detection and retrieval on the TRECVID dataset (audio-video), category classification on the Wikipedia dataset (image-text), and sentiment classification on PhotoTweet (image-text).

研究动机与目标

• 解决单模态稀疏编码在捕捉跨模态语义相关性方面的局限性。
• 开发一种联合学习框架，强制实现异质模态间的共享稀疏表示。
• 通过利用模态间的互补信息，提升情感分类、事件检测和图像去噪等多模态任务的性能。
• 探索基于稀疏编码层构建的深度架构，以建模模态间的非线性关系。
• 在真实世界多模态数据集中，证明共享表示相较于单模态特征联合或拼接方法的优越性。

提出的方法

• 使用联合字典学习同时学习多个模态的稀疏表示，并在它们之间强制实现共享稀疏性。
• 应用带L1正则化的稀疏编码，将数据表示为学习到的基向量（字典原子）的稀疏线性组合。
• 引入三种类型的多模态表示：联合表示（跨模态共享）、跨模态表示（从一种模态重建）以及多模态特征联合。
• 使用最大池化和PCA白化对图像和文本块进行预处理，以确保特征尺度一致。
• 通过堆叠多层稀疏编码和池化单元构建深度架构，以建模模态间的分层非线性相关性。
• 在稀疏编码前，对视觉和文本块进行无监督预训练，包括均值去除和白化处理，以提升表示质量。

实验结果

研究问题

• RQ1 与单模态或单模态联合基线相比，模态间的共享稀疏表示是否能提升分类性能？
• RQ2 当某一模态缺失时，多模态的联合学习如何提升单个模态的特征质量？
• RQ3 基于稀疏编码层构建的深度架构在非线性多模态相关性任务中能多大程度上提升性能？
• RQ4 多模态稀疏编码是否优于不学习模态间共享关联的特征拼接方法？
• RQ5 所提出的框架能否在情感分析、事件检测和图像去噪等多样化多模态应用中实现泛化？

主要发现

• 深度多模态稀疏编码模型在PhotoTweet情感分类任务中达到75.16%的准确率，优于SentiStrength + SentiBank基线（68%）和CBOW-DA-LR方法（79%逻辑回归准确率）。
• 多模态特征联合（71.95%）显著优于单模态特征联合（66.10%），证明了学习共享表示的优势。
• 联合稀疏编码（70.29%）优于单模态稀疏编码（图像为60.91%，文本为58.07%），表明联合学习增强了判别能力。
• 跨模态表示（例如从图像重建文本）达到66.64%的准确率，表明一种模态可有效重建另一种模态的信息。
• 该框架在图像去噪和TRECVID多媒体事件检测任务中均提升了性能，证实了其在任务间的鲁棒性与泛化能力。
• 深度架构始终优于浅层模型，最佳结果（75.16%准确率）通过在共享稀疏特征上进行分层学习实现。