[论文解读] Images Don't Lie: Transferring Deep Visual Semantic Features to Large-Scale Multimodal Learning to Rank

Corey Lynch, Kamelia Aryafar+1 more|arXiv (Cornell University)|Nov 20, 2015

Image Retrieval and Classification Techniques参考文献 15被引用 11

一句话总结

本文提出了一种多模态学习排序框架，通过整合预训练VGG-19网络的深层视觉语义特征与文本特征，提升电子商务搜索排序效果。通过迁移ImageNet训练的CNN特征，该模型在文本特征基线基础上实现了1.7%的平均NDCG提升，有效分离了文本模型错误排序的视觉上差异显著的物品。

ABSTRACT

Search is at the heart of modern e-commerce. As a result, the task of ranking search results automatically (learning to rank) is a multibillion dollar machine learning problem. Traditional models optimize over a few hand-constructed features based on the item's text. In this paper, we introduce a multimodal learning to rank model that combines these traditional features with visual semantic features transferred from a deep convolutional neural network. In a large scale experiment using data from the online marketplace Etsy, we verify that moving to a multimodal representation significantly improves ranking quality. We show how image features can capture fine-grained style information not available in a text-only representation. In addition, we show concrete examples of how image information can successfully disentangle pairs of highly different items that are ranked similarly by a text-only model.

研究动机与目标

• 解决电子商务中仅依赖文本的搜索排序局限性，其中描述性文本常包含关键词堆砌，导致物品相关性被错误表示。
• 探究深度卷积网络中的高层视觉语义特征是否能提供文本特征未捕捉的互补信息。
• 开发一种可扩展的、基于迁移学习的方法，将视觉特征集成至现有学习排序流水线中，而无需从头开始训练。
• 证明视觉特征可通过捕捉文本模型无法察觉的细微风格与内容差异，提升排序质量。

提出的方法

• 使用在ImageNet上预训练的19层VGG结构卷积神经网络（作为固定特征提取器），提取高层视觉语义信息。
• 从VGG网络的最后一个全连接层提取图像嵌入，移除分类头以保留通用视觉表征。
• 使用词袋模型对商品标题和标签中的文本特征进行表示，形成独立的文本嵌入空间。
• 将视觉与文本嵌入拼接为每个商品的单一多模态特征向量。
• 使用多模态特征训练学习排序模型，优化查询特定的排序任务中的NDCG。
• 应用迁移学习以避免过拟合，利用预训练网络在有限查询特定数据上的泛化能力。

实验结果

研究问题

• RQ1 预训练CNN中的深层视觉语义特征是否能提升大规模电子商务学习排序系统中的排序性能？
• RQ2 视觉特征在多大程度上捕捉了文本描述中无法表达的细微风格或内容差异？
• RQ3 视觉特征在多大程度上能区分那些被仅文本模型错误排序但视觉上明显不同的商品？
• RQ4 多模态表征对标准排序指标（如NDCG）在多样化查询下的定量影响如何？

主要发现

• 多模态模型在数据集上相对于纯文本基线实现了1.7%的NDCG平均显著提升。
• 纯图像模型的表现比文本基线差2.2%，表明仅靠视觉特征不足以实现良好性能，但其仍具有信息量。
• 对于查询'wolf'，多模态模型使NDCG提升了3.07%，并将一条相关的狼主题T恤重新排序至比犀牛主题商品高394个位置。
• 对于查询'leather bag'，多模态模型使NDCG提升了2.56%，并将正确商品列表重新排序至比文本模型高660个位置。
• 对于查询'wedding band'，多模态模型使NDCG提升了1.55%，并将正确商品列表重新排序至比文本模型高427个位置。
• 在不同查询分组中，顶级列表的视觉一致性得到改善，表明图像特征通过捕捉文本中未包含的风格与内容，增强了相关性。