[论文解读] Cross-Modal Retrieval in the Cooking Context: Learning Semantic Text-Image Embeddings

Micael Carvalho, Rémi Cadène+4 more|arXiv (Cornell University)|Apr 30, 2018

Multimodal Machine Learning Applications参考文献 38被引用 37

一句话总结

本文提出 AdaMine，一种联合跨模态检索与分类学习框架，通过双三元组损失结合实例级与语义级损失，提升烹饪应用中的语义文本-图像嵌入。在大规模 Recipe1M 数据集上评估，AdaMine 在图像到食谱检索中实现 13.2 的中位数排名（MedR），性能达到最先进水平，相较于先前方法展现出更优的泛化能力与细粒度语义对齐能力。

ABSTRACT

Designing powerful tools that support cooking activities has rapidly gained popularity due to the massive amounts of available data, as well as recent advances in machine learning that are capable of analyzing them. In this paper, we propose a cross-modal retrieval model aligning visual and textual data (like pictures of dishes and their recipes) in a shared representation space. We describe an effective learning scheme, capable of tackling large-scale problems, and validate it on the Recipe1M dataset containing nearly 1 million picture-recipe pairs. We show the effectiveness of our approach regarding previous state-of-the-art models and present qualitative results over computational cooking use cases.

研究动机与目标

• 解决烹饪应用中食谱与图像数据存在的语义异质性与文化差异性挑战。
• 在传统成对匹配无法泛化至相似但非相同菜肴的大规模设置下，提升跨模态检索性能。
• 通过直接将高层语义类别信息整合到嵌入学习过程中，优化共享潜在空间的结构。
• 开发一种参数高效的方法，通过避免使用独立分类头，防止过拟合并保持模型效率。
• 支持实际下游烹饪应用，如基于食材的图像检索与考虑饮食限制的食谱修改。

提出的方法

• 提出一种联合目标函数，结合基于实例的检索损失（L_ins）与基于语义的分类损失（L_sem），以共同优化嵌入空间结构。
• 引入双三元组损失机制，同时实现：(1) 使匹配的图像与食谱对比非匹配对更接近，(2) 使同类项目（如所有披萨）比跨类项目（如披萨 vs. 沙拉）更接近。
• 采用自适应三元组挖掘策略，在训练过程中选择有信息量的三元组，提升收敛速度与表示质量。
• 使用类似 Siamese 的深度神经网络架构，将图像和文本（食材与说明）编码到共享嵌入空间中。
• 通过拼接其嵌入向量，利用完整食谱结构（食材与说明）以增强文本表示。
• 在包含近 100 万张图像-食谱对的 Recipe1M 数据集上端到端训练模型，学习鲁棒且可泛化的跨模态嵌入。

实验结果

研究问题

• RQ1 联合学习检索与语义分类是否能提升大规模烹饪检索中跨模态嵌入的泛化能力？
• RQ2 与仅使用实例级匹配相比，将高层语义类别信息注入嵌入空间对检索性能有何影响？
• RQ3 所学嵌入空间在多大程度上支持细粒度、语义感知的检索，如查找特定食材的食谱或菜肴的修改版本？
• RQ4 所提出的自适应挖掘双三元组损失在中位数排名与召回率指标上是否优于标准对比损失或三元组损失？
• RQ5 该模型能否有效支持下游烹饪应用，如基于食材的图像搜索或考虑饮食限制的食谱修改？

主要发现

• AdaMine 在图像到食谱检索中实现 13.2 的中位数排名（MedR），在 Recipe1M 数据集上显著优于先前最先进模型。
• 在食谱到图像检索中，模型实现 MedR 12.2，表明其在两个检索方向上均表现强劲。
• 若从输入中移除食材或说明，性能急剧下降，MedR 分别上升至 52.8 和 53.8，证明两种文本组件均至关重要。
• 在披萨类别中搜索菠萝或草莓等食材时，模型能检索到视觉与语义相关的图像，包括水果披萨，展现出细粒度语义组织能力。
• 在从食谱的食材与说明中移除西兰花后，模型能检索到不含西兰花的图像，证实潜在空间正确编码了食材的有无信息。
• 消融实验表明，仅使用 AdaMine_ingr 或 AdaMine_instr 的模型性能较差（MedR 分别为 39.0 和 39.2），凸显了两种文本组件在准确检索中的互补作用。