[论文解读] Computer vision-based food calorie estimation: dataset, method, and experiment

Yanchao Liang, Jianhua Li|arXiv (Cornell University)|May 22, 2017

Nutritional Studies and Diet参考文献 5被引用 31

一句话总结

本文提出了 ECUSTFD，这是首个公开可用的食物图像数据集，包含经标注的体积和质量记录，可用于精确的卡路里估算。该研究提出了一种基于深度学习的流程，采用 Faster R-CNN 进行目标检测，使用 GrabCut 进行图像分割，对大多数食物的体积估算误差在 ±20% 以内，但香蕉、葡萄和月饼由于测量挑战导致误差较大。

ABSTRACT

Computer vision has been introduced to estimate calories from food images. But current food image data sets don't contain volume and mass records of foods, which leads to an incomplete calorie estimation. In this paper, we present a novel food image data set with volume and mass records of foods, and a deep learning method for food detection, to make a complete calorie estimation. Our data set includes 2978 images, and every image contains corresponding each food's annotation, volume and mass records, as well as a certain calibration reference. To estimate calorie of food in the proposed data set, a deep learning method using Faster R-CNN first is put forward to detect the food. And the experiment results show our method is effective to estimate calories and our data set contains adequate information for calorie estimation. Our data set is the first released food image data set which can be used to evaluate computer vision-based calorie estimation methods.

研究动机与目标

• 为解决缺乏包含体积和质量记录的综合性食物图像数据集的问题，以实现精确的卡路里估算。
• 开发一种基于计算机视觉的方法，实现仅通过食物图像进行全自动、无需用户协助的卡路里估算。
• 通过使用广泛可用的校准物体（一枚一元人民币硬币）和深度学习技术，提高卡路里估算的准确性。
• 为未来基于计算机视觉的卡路里估算系统提供基准数据集和评估方法。

提出的方法

• ECUSTFD 数据集包含 2,978 幅图像，涵盖 19 种食物类型，每张图像均标注了体积、质量以及一枚一元人民币硬币作为校准参考。
• 使用 Faster R-CNN 在俯视图和侧视图图像中检测食物项目和校准硬币，以确定尺度因子。
• 使用 GrabCut 算法对检测到的边界框内的图像进行分割，提取每种食物项目的精确轮廓。
• 基于从每张图像中校准硬币得出的尺度因子，使用几何模型估算体积。
• 通过将估算的体积与已知的食物密度和营养表匹配，计算卡路里值。
• 系统通过处理成对的俯视图和侧视图图像，提升三维体积重建和估算的准确性。

实验结果

研究问题

• RQ1 仅使用带有标准校准物体的图像，基于计算机视觉的系统能否准确估算食物卡路里摄入量？
• RQ2 Faster R-CNN 与 GrabCut 结合在非受限食物图像中检测和分割食物项目的效果如何？
• RQ3 在数据集中包含体积和质量记录在多大程度上提升了自动化卡路里估算的准确性？
• RQ4 所提出的方法在形状和纹理多样的各类食物上表现如何？
• RQ5 体积和卡路里估算中的主要误差来源是什么，能否进行量化？

主要发现

• 所提出的方法对大多数食物类型（包括苹果、香蕉、面包和橙子）的体积估算误差在 ±20% 以内。
• 在 19 种食物中，有 16 种的体积估算平均误差低于 ±20%，表明整体性能优异。
• 葡萄、香蕉和月饼的误差显著，主要由于测量伪影，如成簇葡萄之间的间隙或不规则形状。
• 使用一枚一元人民币硬币作为校准物体，实现了不同图像视角下的一致尺度估算。
• ECUSTFD 数据集是首个公开发布的、包含用于卡路里估算评估的真实体积和质量记录的食物图像数据集。
• 该系统无需用户输入即可完成分割，成功实现了完全自动化的卡路里估算。