[论文解读] Full-Network Embedding in a Multimodal Embedding Pipeline

Armand Vilalta, Dario García-Gasulla+5 more|arXiv (Cornell University)|Jul 24, 2017

Multimodal Machine Learning Applications参考文献 23被引用 5

一句话总结

本文提出将全网络嵌入（Full-Network Embedding, FNE）——一种基于多尺度、分层CNN的图像表征——整合到Kiros等人（2014）的多模态嵌入流程中，取代标准的一层CNN特征。FNE在Flickr8k、Flickr30k和MSCOCO数据集上的图像标注与检索任务中均提升了性能，在MSCOCO图像标注任务中达到当前最优结果，相较于一层嵌入平均提升3–4个百分点，证明其作为更丰富的视觉表征具有显著优势。

ABSTRACT

The current state-of-the-art for image annotation and image retrieval tasks is obtained through deep neural networks, which combine an image representation and a text representation into a shared embedding space. In this paper we evaluate the impact of using the Full-Network embedding in this setting, replacing the original image representation in a competitive multimodal embedding generation scheme. Unlike the one-layer image embeddings typically used by most approaches, the Full-Network embedding provides a multi-scale representation of images, which results in richer characterizations. To measure the influence of the Full-Network embedding, we evaluate its performance on three different datasets, and compare the results with the original multimodal embedding generation scheme when using a one-layer image embedding, and with the rest of the state-of-the-art. Results for image annotation and image retrieval tasks indicate that the Full-Network embedding is consistently superior to the one-layer embedding. These results motivate the integration of the Full-Network embedding on any multimodal embedding generation scheme, something feasible thanks to the flexibility of the approach.

研究动机与目标

• 评估全网络嵌入（FNE）相较于标准的一层CNN特征，是否能提升多模态嵌入性能。
• 评估FNE在多个基准数据集上的图像标注与图像检索任务中的影响。
• 确定FNE能否增强通用多模态嵌入流程（如Kiros等人（2014）提出的流程）的性能。
• 将基于FNE的模型（FN-MME）与当前最先进方法在图像标注与图像检索任务中进行比较。
• 探究FNE作为通用图像表征在不同多模态架构中的可泛化性。

提出的方法

• 通过聚合预训练CNN所有层的激活值提取FNE，以捕捉多尺度视觉特征。
• 将FNE用作Kiros等人（2014）多模态嵌入流程中的图像表征，该流程结合GRU-based文本编码与CNN-based图像编码。
• 通过仿射变换将FNE的维度与文本嵌入空间对齐，从而构建共享的多模态嵌入空间。
• 在三个数据集（Flickr8k、Flickr30k和MSCOCO）上评估该流程，使用Recall@K和中位数排名等标准指标。
• 将FNE与一层CNN嵌入（基线）、原始CNN-MME模型以及当前最先进模型（如FV和W2VV）进行比较。
• 在1,000张和5,000张测试图像下进行实验，以评估不同评估设置下的性能。

实验结果

研究问题

• RQ1 用全网络嵌入（FNE）替代一层CNN嵌入是否能提升多模态图像-文本检索与标注任务的性能？
• RQ2 基于FNE的模型（FN-MME）与使用一层嵌入的原始Kiros等人（2014）流程相比表现如何？
• RQ3 基于FNE的模型在图像标注与图像检索任务中，其性能在多大程度上接近或超越当前最先进水平？
• RQ4 FNE带来的性能提升是否在不同数据集规模和基准设置下保持一致？
• RQ5 FNE能否作为通用图像表征被有效集成到现有多模态嵌入流程中？

主要发现

• 在Flickr数据集上，FN-MME模型相较于使用一层嵌入的原始CNN-MME模型平均提升3个百分点，在MSCOCO数据集上提升4个百分点。
• 在MSCOCO数据集上，FN-MME在图像标注任务中取得了当前报告的最佳结果，优于所有其他测试模型，包括最先进模型W2VV。
• 在图像检索任务中，FN-MME的表现显著低于当前最先进水平（FV），表明FNE在该特定任务中效果较弱。
• FNE带来的性能提升在所有三个数据集中均保持一致，且在像MSCOCO这样的大尺寸数据集中表现更强。
• 基于FNE的模型在图像标注任务中与最先进方法具有竞争力，尤其在大尺寸数据集中，表明其在集成到先进流程时具有提升性能的潜力。
• 结果表明，FNE提供的视觉表征比一层嵌入更丰富、更鲁棒，是集成到任何多模态嵌入框架中的有力候选。