[论文解读] Cross-Modal Scene Networks

Yusuf Aytar, Lluís Castrejón+3 more|arXiv (Cornell University)|Oct 27, 2016

Advanced Image and Video Retrieval Techniques参考文献 43被引用 4

一句话总结

本文提出一种方法，用于学习跨模态场景表征，使其在多种模态（如自然图像、素描、文本描述和剪贴画）之间对齐，且无需成对数据。通过使用模态不变对比损失和统计正则化来正则化卷积神经网络，模型学习到一种共享表征，其中神经元单位在不同模态下对一致的场景概念激活，从而实现在不同模态之间的有效零样本检索与重建。

ABSTRACT

People can recognize scenes across many different modalities beyond natural images. In this paper, we investigate how to learn cross-modal scene representations that transfer across modalities. To study this problem, we introduce a new cross-modal scene dataset. While convolutional neural networks can categorize scenes well, they also learn an intermediate representation not aligned across modalities, which is undesirable for cross-modal transfer applications. We present methods to regularize cross-modal convolutional neural networks so that they have a shared representation that is agnostic of the modality. Our experiments suggest that our scene representation can help transfer representations across modalities for retrieval. Moreover, our visualizations suggest that units emerge in the shared representation that tend to activate on consistent concepts independently of the modality.

研究动机与目标

• 在无成对训练样本的情况下，实现对高度不同的模态（如图像、文本、素描）之间的跨模态场景理解。
• 学习一种共享的、与模态无关的表征，以在不同模态间保留高层级场景概念。
• 通过在中间特征空间中强制对齐，解决跨模态迁移中的域偏移问题。
• 证明仅通过弱监督（仅需场景类别标签）即可实现强对齐，而无需显式的对应标注。

提出的方法

• 构建一个新的跨模态场景数据集，涵盖500多个场景类别和五种模态：自然图像、剪贴画、线稿、空间文本和描述性文本。
• 训练一个共享的类孪生网络，包含模态特定的编码器和共享的表征头，以学习联合特征。
• 应用模态不变对比损失，以鼓励同一场景在不同模态下产生相同的特征表示。
• 使用统计正则化（如批量归一化和特征白化）进一步减少共享特征中的模态特异性偏差。
• 在共享的pool5特征上训练一个反演网络，以从任意模态的输入重建图像，从而可视化保留的语义概念。
• 利用t-SNE可视化和定性重建分析，评估模态不变性和特征对齐程度。

实验结果

研究问题

• RQ1 深度神经网络能否仅通过类别级别监督且无需成对数据，学习到共享的、与模态无关的场景表征？
• RQ2 共享表征中的神经元是否能自动在不同模态下检测到一致的高层级概念（如“床”、“汽车”）？
• RQ3 当某一模态的训练数据缺失时，所学习的表征在多大程度上能支持零样本跨模态检索？
• RQ4 共享表征在多大程度上能保留场景级统计特性，以实现从其他模态重建图像？
• RQ5 模型的表征是否对模态变得不变，即在丢弃模态特异性细节的同时保留语义内容？

主要发现

• 所提方法在跨模态检索任务中优于微调基线模型，在零样本检索基准上取得了更高的mAP。
• 即使缺乏某一特定模态的训练数据，该模型仍能实现有效的零样本检索，展现出强大的泛化能力。
• t-SNE可视化显示，完整方法减少了模态特异性聚类，表明相比基线模型，其模态不变性得到了显著提升。
• 重建结果表明，尽管存在信息压缩，共享表征仍能保留关键的场景概念和空间布局。
• 共享表征中的神经元无论输入模态如何，均在一致的场景概念（如“床”、“汽车”）上激活，表明语义内容实现了自发解耦。
• 该方法仅使用共享特征即可从多样化模态成功重建图像，重建结果保留了场景构图和主要物体。