[论文解读] FoodTracker: A Real-time Food Detection Mobile Application by Deep Convolutional Neural Networks

Jianing Sun, Katarzyna Radecka+1 more|arXiv (Cornell University)|Sep 13, 2019

Nutritional Studies and Diet参考文献 20被引用 17

一句话总结

FoodTracker 提出了一款实时移动应用，采用基于 YOLOv2 的轻量级深度卷积神经网络（DCNN），结合深度可分离卷积，可在单张图像中检测多种食物，实现 80% 的平均平均精度。该系统完全在设备上运行，推理时间为 75ms（墙钟时间），模型大小为 8.1MB，通过 API 集成为每种检测到的食物提供营养信息。

ABSTRACT

We present a mobile application made to recognize food items of multi-object meal from a single image in real-time, and then return the nutrition facts with components and approximate amounts. Our work is organized in two parts. First, we build a deep convolutional neural network merging with YOLO, a state-of-the-art detection strategy, to achieve simultaneous multi-object recognition and localization with nearly 80% mean average precision. Second, we adapt our model into a mobile application with extending function for nutrition analysis. After inferring and decoding the model output in the app side, we present detection results that include bounding box position and class label in either real-time or local mode. Our model is well-suited for mobile devices with negligible inference time and small memory requirements with a deep learning algorithm.

研究动机与目标

• 开发一种实时、设备端的食物检测系统，以消除手动记录饮食日志的需要。
• 实现在自然餐食图像中高精度的多目标食物识别与定位。
• 通过检测到的食物标签，从全球数据库中集成营养信息检索。
• 优化深度学习推理以实现移动端部署，同时保持极低的延迟和内存占用。
• 在单一移动应用程序中支持实时摄像头输入和本地图像分析。

提出的方法

• 该系统采用基于 YOLOv2 的 DCNN 架构，并以 MobileNet 作为主干网络，以实现实时目标检测。
• 深度可分离卷积相比标准卷积，将计算量和参数量减少最多 8–9 倍。
• 模型在 UECFood100 和 UECFood256 数据集上进行训练，分别包含 100 种和 256 种食物类别。
• 采用非极大值抑制（NMS）方法，移除交并比（IoU）超过 30% 的重叠边界框。
• 推理过程在移动设备上本地执行，使用 TensorFlow Java API，无需依赖远程服务器。
• 通过 Nutritionix API 使用检测到的食物类别标签获取营养信息。

实验结果

研究问题

• RQ1 轻量级深度学习模型是否能在移动设备上实现实时高精度食物检测？
• RQ2 深度可分离卷积如何在不牺牲检测性能的前提下减少模型大小和推理时间？
• RQ3 移动应用是否能够实现食物检测与从全球数据库实时获取营养信息的集成？
• RQ4 在真实餐食图像中，设备端推理在延迟和内存使用方面的表现如何？
• RQ5 该系统在复杂真实餐食场景中检测多种食物的能力有多强？

主要发现

• FoodTracker 模型在 UECFood100 和 UECFood256 基准测试中达到 80% 的平均平均精度。
• 系统在 Google Pixel 2 上实现 75ms 的墙钟推理时间，每张图像的 CPU 时间为 15ms。
• DCNN 模型大小仅为 8.1MB，移动设备上的运行时内存使用量为 242.2MB。
• 该应用程序支持实时摄像头检测和本地图像分析，无需服务器端计算。
• 通过 Nutritionix API 成功为每种检测到的食物获取了营养信息，实现了自动饮食记录。
• 使用深度可分离卷积使计算成本相比标准卷积降低 9 倍，且精度损失极小。