[论文解读] Learning Cross-Modal Embeddings with Adversarial Networks for Cooking Recipes and Food Images

Hao Wang, Doyen Sahoo+3 more|arXiv (Cornell University)|May 3, 2019

Advanced Image and Video Retrieval Techniques参考文献 46被引用 12

一句话总结

本文提出ACME，一种用于学习烹饪食谱与食物图像之间跨模态嵌入的端到端对抗性框架。通过结合困难样本挖掘、对抗性模态对齐以及跨模态翻译一致性，ACME在Recipe1M基准上实现了最先进性能，显著提升了检索准确率和模态间的语义对齐效果。

ABSTRACT

Food computing is playing an increasingly important role in human daily life, and has found tremendous applications in guiding human behavior towards smart food consumption and healthy lifestyle. An important task under the food-computing umbrella is retrieval, which is particularly helpful for health related applications, where we are interested in retrieving important information about food (e.g., ingredients, nutrition, etc.). In this paper, we investigate an open research task of cross-modal retrieval between cooking recipes and food images, and propose a novel framework Adversarial Cross-Modal Embedding (ACME) to resolve the cross-modal retrieval task in food domains. Specifically, the goal is to learn a common embedding feature space between the two modalities, in which our approach consists of several novel ideas: (i) learning by using a new triplet loss scheme together with an effective sampling strategy, (ii) imposing modality alignment using an adversarial learning strategy, and (iii) imposing cross-modal translation consistency such that the embedding of one modality is able to recover some important information of corresponding instances in the other modality. ACME achieves the state-of-the-art performance on the benchmark Recipe1M dataset, validating the efficacy of the proposed technique.

研究动机与目标

• 为解决烹饪食谱与食物图像之间跨模态检索的挑战，其中模态分布偏移和信息损失会阻碍性能表现。
• 通过对抗性训练对齐食谱与图像的异质特征分布，以提升嵌入质量。
• 通过强制一种模态的嵌入能够重建另一种模态的关键信息，确保语义一致性。
• 通过一种新颖的采样策略，克服传统三元组损失的局限性，如收敛缓慢和困难负样本挖掘效果差。
• 通过学习食谱与图像检索的共享语义空间，支持实际的健康与营养应用。

提出的方法

• 在三元组损失框架内引入一种困难样本挖掘策略，以提升收敛速度和检索性能。
• 采用对抗性损失，对齐食谱与图像嵌入的边缘分布，使其在共享空间中难以区分。
• 实现跨模态翻译组件：一个从食谱生成图像的生成器和一个从图像预测成分的预测器，以强制一致性。
• 使用结合三元组损失、对抗性损失和重建损失的多任务损失，端到端训练整个框架。
• 采用共享权重的孪生网络架构，用于编码食谱（LSTM）和图像（CNN），随后通过共享嵌入层。
• 应用实例归一化和特征级归一化，以稳定训练并提升泛化能力。

实验结果

研究问题

• RQ1 对抗性训练能否有效对齐如食谱与食物图像等异质模态的特征分布？
• RQ2 在三元组损失框架中采用困难样本挖掘是否能提升跨模态学习中的收敛速度和检索准确率？
• RQ3 跨模态翻译一致性是否能增强语义对齐并减少共享嵌入中的信息损失？
• RQ4 所提出的ACME框架在大规模跨模态检索基准上与最先进方法相比表现如何？
• RQ5 所学习的嵌入在多大程度上能支持实际应用，如从食物图像中检索食谱？

主要发现

• ACME在Recipe1M基准上实现了最先进性能，在跨模态检索准确率方面优于现有方法。
• 消融实验确认，所有组件——困难采样、对抗性对齐和跨模态一致性——均对性能提升有显著贡献。
• 定性结果表明，即使查询图像模糊或分辨率较低，检索到的图像在视觉上仍与真实图像高度相似。
• 跨模态翻译组件能够从食谱生成合理的食物图像，并能准确从图像中预测出成分，展示了良好的语义保真度。
• 该模型在多种食物类别上泛化良好，包括鸡肉汤和水果沙拉等视觉线索较细微的复杂菜肴。
• 当查询模态包含噪声或不完整信息（如缺少成分的食谱或模糊图像）时，该框架仍能实现有效的检索。