[论文解读] Learning to Substitute Ingredients in Recipes

Bahare Fatemi, Quentin Duval+3 more|arXiv (Cornell University)|Feb 15, 2023

Culinary Culture and TourismAgricultural and Biological Sciences被引用 3

一句话总结

本文提出GISMo，一种基于图的模型，通过结合食谱特异性上下文与FlavorGraph中提取的通用食材关系知识，预测合理的食材替换。其在最佳基线基础上将平均倒数排名（MRR）提升了14%，并通过集成到图像到食谱生成流程中，实现了有效的食谱个性化。

ABSTRACT

Recipe personalization through ingredient substitution has the potential to help people meet their dietary needs and preferences, avoid potential allergens, and ease culinary exploration in everyone's kitchen. To address ingredient substitution, we build a benchmark, composed of a dataset of substitution pairs with standardized splits, evaluation metrics, and baselines. We further introduce Graph-based Ingredient Substitution Module (GISMo), a novel model that leverages the context of a recipe as well as generic ingredient relational information encoded within a graph to rank plausible substitutions. We show through comprehensive experimental validation that GISMo surpasses the best performing baseline by a large margin in terms of mean reciprocal rank. Finally, we highlight the benefits of GISMo by integrating it in an improved image-to-recipe generation pipeline, enabling recipe personalization through user intervention. Quantitative and qualitative results show the efficacy of our proposed system, paving the road towards truly personalized cooking and tasting experiences.

研究动机与目标

• 为通过上下文感知的食材替换解决个性化食谱生成的挑战。
• 构建一个标准化基准数据集Recipe1MSubs，基于真实用户评论与食谱数据进行食材替换。
• 开发一种将食谱特异性上下文与大规模食物图中的通用食材关系相结合的模型。
• 通过将替换模块集成到图像到食谱生成流程中，实现实用的食谱个性化。
• 通过将替换与指令编辑解耦，减少对罕见、完全监督的食谱编辑配对数据的依赖。

提出的方法

• 作者构建了Recipe1MSubs，一个从食谱网站用户评论中提取的食材替换对基准数据集，包含标准化的训练/验证/测试划分。
• GISMo使用图神经网络（GNN）对FlavorGraph中的通用食材关系进行编码，该图捕捉了食材共现与化学风味特征。
• 模型通过可学习的注意力机制，融合食谱文本的上下文嵌入与图编码的食材表征。
• 通过联合利用上下文与关系特征，对候选食材进行排序，预测合理的替换。
• 该系统被集成到逆向烹饪流程中：首先使用视觉Transformer对图像编码以预测食材，然后GISMo替换指定食材，最后由语言模型生成更新后的食谱。
• 该方法通过利用大语言模型的组合泛化能力，实现零样本食谱个性化，避免对编辑后食谱进行完全监督。

实验结果

研究问题

• RQ1 通过结合食谱上下文与通用食材关系知识，模型能否有效预测上下文感知的食材替换？
• RQ2 在现实、非普适的替换假设下，图模型的性能与强基线相比如何，尤其在食材替换任务中？
• RQ3 将替换模块集成到图像到食谱生成流程中，能否在无需原始-编辑食谱成对数据的情况下，实现有效的个性化食谱生成？
• RQ4 同时利用食谱特异性信息与全局食材关系信息，在多大程度上提升了替换的准确性？

主要发现

• GISMo在最佳基线基础上实现了14%的平均倒数排名（MRR）相对提升，证明了结合上下文与关系信息的有效性。
• 该模型显著优于仅依赖食谱上下文或通用嵌入的基线模型，凸显了图结构食材知识的价值。
• 定性结果表明，GISMo能提出合理的替换建议——例如在面包食谱中用清水替代啤酒——且下游食谱生成流程能正确调整说明与标题。
• 将GISMo集成到逆向烹饪流程中，可在极少监督下实现个性化食谱生成，充分利用了语言模型的组合泛化能力。
• 随机替换导致困惑度更高、IoU更低，证实智能替换对生成连贯食谱至关重要。
• 该系统在实际应用中具有潜力，但目前仅支持一对一替换，且由于训练数据限制，可能对西方菜肴存在偏向。