[论文解读] A Review of the Vision-based Approaches for Dietary Assessment.

Ghalib Ahmed Tahir, Chu Kiong Loo|arXiv (Cornell University)|Jun 21, 2021

Nutritional Studies and Diet参考文献 89被引用 2

一句话总结

本综述评估了基于视觉的自动膳食评估方法，重点关注利用图像数据库和移动应用程序的计算机视觉食物识别技术。综述整合了最先进的方法论，评估了其性能，并指出了在mHealth支持的膳食监测领域中的研究空白与未来挑战。

ABSTRACT

Last ten years have witnessed the growth of many computer vision applications for food recognition. Dietary studies showed that dietary-related problem such as obesity is associated with other chronic diseases like hypertension, irregular blood sugar levels, and increased risk of heart attacks. The primary cause of these problems is poor lifestyle choices and unhealthy dietary habits, which are manageable by using interactive mHealth apps that use automatic visual-based methods to assess dietary intake. This review discusses the most performing methodologies that have been developed so far for automatic food recognition. First, we will present the rationale of visual-based methods for food recognition. The core of the paper is the presentation, discussion and evaluation of these methods on popular food image databases. We also discussed the mobile applications that are implementing these methods. The review ends with a discussion of research gaps and future challenges in this area.

研究动机与目标

• 考察基于视觉的方法在膳食评估中实现自动食物识别的原理与发展历程。
• 评估领先计算机视觉技术在标准化食物图像数据库上的性能表现。
• 分析现有集成这些视觉食物识别系统的移动应用程序。
• 识别在基于计算机视觉的自动化膳食监测领域中的关键研究空白与未来挑战。

提出的方法

• 对过去十年间基于视觉的食物识别相关同行评审文献进行系统性综述。
• 基于图像处理、特征提取和分类技术，对方法论进行分类与对比分析。
• 利用Food-101、UEC-Food100等流行公开食物图像数据库评估各类方法。
• 评估实施这些基于视觉系统的移动应用程序在真实世界膳食监测中的应用。
• 讨论在mHealth环境中部署这些系统面临的技术与实际挑战。
• 基于方法论与应用层面的发现，综合分析趋势、局限性及未来研究方向。

实验结果

研究问题

• RQ1 在膳食评估中，哪些计算机视觉技术在自动食物识别方面最为有效？
• RQ2 这些基于视觉的方法在标准化食物图像数据库上的表现如何？
• RQ3 目前哪些移动应用程序实现了基于视觉的食物识别？其技术与可用性局限性是什么？
• RQ4 在推进基于视觉的膳食评估系统方面，关键的研究空白与挑战有哪些？
• RQ5 如何进一步优化基于视觉的方法以适用于真实世界中的mHealth应用？

主要发现

• 通过深度学习和改进的特征提取技术，基于视觉的方法在食物识别准确率方面取得了显著进展。
• Food-101和UEC-Food100等流行食物图像数据库为识别模型的标准化基准测试提供了支持。
• 利用这些方法的移动应用程序在实时膳食记录方面展现出潜力，但在真实光照条件和姿态变化下的准确性仍面临挑战。
• 尽管已取得进展，但在识别混合菜肴、份量估算以及低光照条件下仍存在显著性能差距。
• 当前系统在不同饮食文化与食物制作方式之间的泛化能力普遍不足。
• 未来研究必须聚焦于提升系统的鲁棒性、可解释性，并推动其与可扩展mHealth平台的整合。