[论文解读] Food recognition and recipe analysis: integrating visual content, context and external knowledge

Luis Herranz, Weiqing Min+1 more|arXiv (Cornell University)|Jan 22, 2018

Advanced Chemical Sensor Technologies参考文献 15被引用 14

一句话总结

本文提出了一种集成框架，用于食物识别与食谱分析，通过结合视觉内容、上下文线索（例如位置、时间、餐厅）以及外部知识（例如配料列表、营养信息、食物知识图谱）来实现。该框架利用概率图模型和地理定位分类器，提升了真实场景下的识别准确率，结果表明，上下文感知建模显著优于全局视觉分类，尤其在餐厅中罕见或视觉上模糊的菜肴识别方面表现更优。

ABSTRACT

The central role of food in our individual and social life, combined with recent technological advances, has motivated a growing interest in applications that help to better monitor dietary habits as well as the exploration and retrieval of food-related information. We review how visual content, context and external knowledge can be integrated effectively into food-oriented applications, with special focus on recipe analysis and retrieval, food recommendation, and the restaurant context as emerging directions.

研究动机与目标

• 解决在视觉差异大且稀有菜肴训练数据稀缺的真实场景下细粒度食物识别的挑战。
• 通过引入地理位置、餐厅身份和时间等上下文信息，克服全局视觉分类器的局限性。
• 通过整合配料列表、营养信息和食物本体等外部知识源，提升食物识别与食谱分析性能。
• 开发可扩展且自适应的模型，能够动态适应本地环境（如餐厅或地区），以增强识别性能。
• 实现在饮食监测、食物推荐以及自助餐厅环境下的自动计价等实际应用。

提出的方法

• 将食物识别建模为基于隐变量模型的推理问题，该模型关联视觉特征、位置、餐厅与菜肴身份。
• 采用深度卷积神经网络（CNN）进行视觉特征提取，并结合数据驱动模型处理位置与邻近区域效应。
• 使用基于餐厅特定数据及邻近餐厅数据训练的地理定位分类器，在推理阶段动态组合锚定模型，以适应查询位置。
• 采用高斯分布与分段邻近模型表示空间上下文，优于简单的均匀或脉冲基模型。
• 整合外部知识，如食谱结构、配料组成与营养信息，以优化预测结果并支持下游任务。
• 采用统一框架，显式建模上下文与知识，以减少歧义并提升识别的鲁棒性。

实验结果

研究问题

• RQ1 如何有效整合视觉、上下文与外部知识，以提升复杂真实场景下的食物识别性能？
• RQ2 在训练数据有限的细粒度食物类别中，引入地理位置与餐厅上下文能在多大程度上提升识别准确率？
• RQ3 是否能够通过联合建模视觉特征、位置与菜肴身份的概率图模型，超越标准的全局视觉分类器？
• RQ4 如何高效构建动态、查询自适应的分类器，以在大规模食物识别系统中保持高准确率与可扩展性？
• RQ5 在低数据场景下，结构化食物知识（如食谱、配料、营养信息）在提升识别与推荐性能方面发挥何种作用？

主要发现

• 基于邻近餐厅训练数据的地理定位分类器，在识别稀有或视觉上模糊的菜肴时，显著优于全局视觉分类器。
• 使用对隐变量（如真实位置、餐厅）进行边缘化处理的概率模型，可实现鲁棒推理，并自然支持诸如地理定位与餐厅识别等关联任务。
• 基于高斯分布的邻近区域模型在捕捉空间上下文方面优于简单的圆形或均匀模型，从而带来更优的分类性能。
• 通过动态组合预训练的锚定分类器（基于特定餐厅），可在无需从头训练的情况下实现快速、可扩展且高精度的推理。
• 整合配料列表与营养信息等外部知识，可提升识别效果，并支持饮食监测与食物摄入量估算等应用。
• 该框架在实际应用中展现出实用性，如自动食物记录、自助餐厅计价与个性化食物推荐。