[论文解读] Large Scale Visual Food Recognition

Weiqing Min, Zhiling Wang+6 more|arXiv (Cornell University)|Mar 30, 2021

Advanced Chemical Sensor Technologies参考文献 97被引用 17

一句话总结

本文提出了Food2K，这是目前规模最大的食物识别数据集，包含2,000个类别和超过100万张图像，其规模远超现有数据集。该工作提出了一种深度渐进区域增强网络，通过渐进式训练和自注意力机制，学习多样化局部特征并利用多尺度上下文进行增强，实现了在食物识别、检索、检测、分割以及跨模态食谱任务中的最先进性能和强大的泛化能力。

ABSTRACT

Food recognition plays an important role in food choice and intake, which is essential to the health and well-being of humans. It is thus of importance to the computer vision community, and can further support many food-oriented vision and multimodal tasks. Unfortunately, we have witnessed remarkable advancements in generic visual recognition for released large-scale datasets, yet largely lags in the food domain. In this paper, we introduce Food2K, which is the largest food recognition dataset with 2,000 categories and over 1 million images.Compared with existing food recognition datasets, Food2K bypasses them in both categories and images by one order of magnitude, and thus establishes a new challenging benchmark to develop advanced models for food visual representation learning. Furthermore, we propose a deep progressive region enhancement network for food recognition, which mainly consists of two components, namely progressive local feature learning and region feature enhancement. The former adopts improved progressive training to learn diverse and complementary local features, while the latter utilizes self-attention to incorporate richer context with multiple scales into local features for further local feature enhancement. Extensive experiments on Food2K demonstrate the effectiveness of our proposed method. More importantly, we have verified better generalization ability of Food2K in various tasks, including food recognition, food image retrieval, cross-modal recipe retrieval, food detection and segmentation. Food2K can be further explored to benefit more food-relevant tasks including emerging and more complex ones (e.g., nutritional understanding of food), and the trained models on Food2K can be expected as backbones to improve the performance of more food-relevant tasks. We also hope Food2K can serve as a large scale fine-grained visual recognition benchmark.

研究动机与目标

• 为解决食物视觉识别领域缺乏大规模、高质量数据集的问题，该问题限制了食物计算和细粒度视觉分析的发展。
• 建立一个可扩展的基准，用于训练和评估食物识别及相关视觉任务中的先进模型。
• 通过渐进式训练和注意力机制，提升模型捕捉细粒度、多样化且富含上下文的视觉特征的能力，从而改进食物视觉表征学习。
• 展示Food2K在多个下游任务中的泛化能力，包括图像识别、检索、检测、分割以及跨模态食谱检索。
• 支持新兴应用，如少样本食物识别、跨菜系和超类别的迁移学习，以及食物图像生成。

提出的方法

• 提出一种深度渐进区域增强网络（DPREN），通过渐进式训练策略学习局部特征，从食物图像中捕捉多样化且互补的视觉模式。
• 引入区域特征增强模块，利用多尺度自注意力机制将上下文信息整合到局部特征中，提升其判别能力。
• 采用迭代式数据清洗、专业标注和质量控制，确保Food2K数据集的高可靠性与多样性。
• 采用包含2,000个类别的分层食物本体论，涵盖蔬菜、肉类、油炸食品等超类别，确保语义覆盖范围和可扩展性。
• 在Food2K上训练模型，并通过零样本和少样本评估协议，评估其在下游任务中的可迁移性。
• 支持跨菜系、超类别和场景的迁移学习，实现跨域泛化分析。

实验结果

研究问题

• RQ1 大规模、高质量的食物数据集是否能显著提升食物视觉识别模型的性能和泛化能力？
• RQ2 渐进式训练在学习多样化且互补的局部特征方面，对细粒度食物识别的有效性如何？
• RQ3 自注意力机制在多尺度上下文中增强局部特征，对提升识别准确率的贡献程度如何？
• RQ4 在Food2K上预训练的模型是否能有效泛化到下游任务，如食物检测、分割和跨模态食谱检索？
• RQ5 Food2K在少样本食物识别和跨菜系迁移学习等新兴任务中，作为基准的潜力如何？

主要发现

• Food2K包含1,036,564张图像，覆盖2,000个类别，其类别数量和图像总量均比现有数据集高出一个数量级。
• 所提出的深度渐进区域增强网络在Food2K上实现了最先进性能，通过渐进式训练和自注意力机制展现出卓越的特征学习能力。
• 在Food2K上预训练的模型表现出强大的泛化能力，在食物图像识别、检索、检测、分割以及跨模态食谱检索等多个任务中均取得性能提升。
• Food2K支持有效的零样本和少样本迁移学习，在跨菜系和跨超类别的迁移学习场景中表现良好。
• 该数据集支持新型应用，如使用生成对抗网络（GANs）进行食物图像生成，生成结果在真实感和语义一致性方面表现优异。
• 数据集和模型已公开发布于 http://123.57.42.89/FoodProject.html，推动食物视觉与多模态学习领域的更广泛研究。