[论文解读] ISIA Food-500: A Dataset for Large-Scale Food Recognition via Stacked Global-Local Attention Network

Weiqing Min, Linhu Liu+5 more|arXiv (Cornell University)|Aug 13, 2020

Nutritional Studies and Diet参考文献 56被引用 15

一句话总结

本文提出了 ISIA Food-500，一个包含 500 个类别和 399,726 幅图像的大规模食物识别数据集，并提出了一种堆叠的全局-局部注意力网络（SGLANet），通过混合空间-通道注意力和级联空间变换器，联合学习互补的全局与局部特征。SGLANet 在 ISIA Food-500 上实现了最先进性能，并在 ETHZ Food-101 和 Vireo Food-172 上展现出良好的泛化能力，证明了其在大规模食物识别中的强大迁移能力与鲁棒性。

ABSTRACT

Food recognition has received more and more attention in the multimedia community for its various real-world applications, such as diet management and self-service restaurants. A large-scale ontology of food images is urgently needed for developing advanced large-scale food recognition algorithms, as well as for providing the benchmark dataset for such algorithms. To encourage further progress in food recognition, we introduce the dataset ISIA Food- 500 with 500 categories from the list in the Wikipedia and 399,726 images, a more comprehensive food dataset that surpasses existing popular benchmark datasets by category coverage and data volume. Furthermore, we propose a stacked global-local attention network, which consists of two sub-networks for food recognition. One subnetwork first utilizes hybrid spatial-channel attention to extract more discriminative features, and then aggregates these multi-scale discriminative features from multiple layers into global-level representation (e.g., texture and shape information about food). The other one generates attentional regions (e.g., ingredient relevant regions) from different regions via cascaded spatial transformers, and further aggregates these multi-scale regional features from different layers into local-level representation. These two types of features are finally fused as comprehensive representation for food recognition. Extensive experiments on ISIA Food-500 and other two popular benchmark datasets demonstrate the effectiveness of our proposed method, and thus can be considered as one strong baseline. The dataset, code and models can be found at http://123.57.42.89/FoodComputing-Dataset/ISIA-Food500.html.

研究动机与目标

• 为解决当前用于训练深度学习模型的食物识别任务中缺乏大规模、多样化且全面的食物数据集的问题。
• 通过一种新颖的深度学习架构，克服食物图像中高类别内差异性和细微判别性特征的挑战。
• 开发一种统一模型，有效捕捉全局层面（纹理、形状）和局部层面（与成分相关的区域）的视觉特征，以提升识别性能。
• 通过在 ISIA Food-500 和基准数据集上进行训练与评估，建立大规模食物识别的强大基线模型。
• 展示在 ISIA Food-500 上预训练的模型向其他现有食物识别基准的泛化能力。

提出的方法

• 所提出的 SGLANet 由两个子网络组成：全局特征学习子网络（GloFLS）利用混合空间-通道注意力机制提取判别性特征，并在层间聚合以获得全局表征。
• 局部特征学习子网络（LocFLS）采用级联空间变换器定位注意力区域，并聚合多尺度区域特征以获得局部表征。
• 将全局与局部特征融合，形成用于最终分类的综合表征。
• 通过多种损失函数端到端训练网络，以最大化全局与局部特征之间的互补效应。
• 在 ISIA Food-500 上进行预训练可实现迁移学习，提升在下游基准（如 ETHZ Food-101 和 Vireo Food-172）上的性能。
• 在 1-crop 和 10-crop 测试设置下评估模型，以评估其鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 一个包含 500 个类别和超过 399,000 幅图像的大规模、多样化食物数据集，是否能显著提升食物识别模型的性能？
• RQ2 堆叠的全局-局部注意力网络是否能有效捕捉食物识别中的全局外观与细粒度局部特征？
• RQ3 所提出的 SGLANet 模型是否能在 ETHZ Food-101 和 Vireo Food-172 等现有基准数据集上实现良好泛化？
• RQ4 在 ISIA Food-500 上进行预训练，对下游食物识别任务的性能提升程度如何？
• RQ5 全局与局部注意力机制在捕捉细粒度食物识别判别性特征方面，如何实现互补？

主要发现

• 在 ISIA Food-500 上，SGLANet 在 10-crop 测试设置下达到 90.33% 的 Top-1 准确率和 98.20% 的 Top-5 准确率，优于多个基线模型。
• 在 ETHZ Food-101 上微调时，SGLANet 在 1-crop 测试下达到 90.47% 的 Top-1 准确率，在 10-crop 下达到 90.92%，展现出强大的泛化能力。
• 在 Vireo Food-172 上，使用预训练模型时，SGLANet 在 1-crop 下达到 90.78% 的 Top-1 准确率，在 10-crop 下达到 90.98%，优于大多数基线模型。
• 使用预训练的 SGLANet 模型带来的性能增益在 ETHZ Food-101 上约为 0.8%，在 Vireo Food-172 上约为 0.9%，证实了 ISIA Food-500 在迁移学习中的有效性。
• SGLANet 在 ISIA Food-500 上实现了最先进性能，在其他基准上也取得了具有竞争力的结果，确立了其作为大规模食物识别的强大基线。
• 消融实验证实，全局与局部特征学习组件均对最终性能有显著贡献，两者融合后效果最佳。