[论文解读] Deep Learning-Based Food Calorie Estimation Method in Dietary Assessment

Yanchao Liang, Jianhua Li|arXiv (Cornell University)|Jun 10, 2017

Nutritional Studies and Diet参考文献 11被引用 17

一句话总结

本文提出一种基于深度学习的食品卡路里估算方法，利用俯视图和侧视图图像，结合Faster R-CNN进行目标检测和GrabCut进行精确分割，以提高体积和卡路里估算的准确性。该方法在大多数食品类型上的平均体积误差控制在±20%以内，展示了在自动化膳食评估中的有效性。

ABSTRACT

Obesity treatment requires obese patients to record all food intakes per day. Computer vision has been introduced to estimate calories from food images. In order to increase accuracy of detection and reduce the error of volume estimation in food calorie estimation, we present our calorie estimation method in this paper. To estimate calorie of food, a top view and side view is needed. Faster R-CNN is used to detect the food and calibration object. GrabCut algorithm is used to get each food's contour. Then the volume is estimated with the food and corresponding object. Finally we estimate each food's calorie. And the experiment results show our estimation method is effective.

研究动机与目标

• 通过减少体积估算误差，提高膳食评估中食品卡路里估算的准确性。
• 开发一种自动化系统，最大限度减少用户输入，避免依赖人工校准。
• 利用深度学习提升对多种食品类型的对象检测和分割性能。
• 评估在各种常见食品上体积和质量估算的性能表现。
• 通过自动化食物摄入记录，为肥胖管理提供实用且可扩展的解决方案。

提出的方法

• 该方法使用两张输入图像：一张俯视图和一张侧视图，每张图像均包含一个校准物体（一元硬币）以进行尺度估算。
• 采用Faster R-CNN进行目标检测，以识别食品项目和校准物体，输出带有类别标签的边界框。
• GrabCut算法对检测到的边界框进行图像分割，以提取精确的食品轮廓，排除背景像素。
• 基于分割后的食品形状（例如椭球体、圆柱体、不规则形状）使用特定形状的公式估算体积，并利用校准物体进行尺度校正。
• 通过将估算的体积乘以营养数据库中已知的食品密度来计算卡路里。
• 从两个视图中检测到的校准物体推导出尺度因子，以确保体积估算的度量准确性。

实验结果

研究问题

• RQ1 与单视图方法相比，双图像（俯视图和侧视图）方法是否能提高体积估算的准确性？
• RQ2 Faster R-CNN检测与GrabCut分割相结合，在多大程度上减少了食品体积和质量估算的误差？
• RQ3 当使用特定形状的体积模型和校准物体时，卡路里估算的准确性如何？
• RQ4 该方法在形状和密度各异的多种食品类型上是否能保持较低的误差？
• RQ5 该系统是否能在无需用户提供前景/背景标签的情况下实现可靠结果？

主要发现

• 所有食品类型中，平均体积误差在大多数项目中控制在±20%以内，仅香蕉、面包、葡萄和李子超出该阈值。
• 对于柠檬，体积估算误差仅为3.88%，表明对球形食品具有高精度。
• 质量估算误差与体积估算趋势基本一致，大多数值在真实质量的±20%以内。
• 苹果的平均体积误差为-11.59%，香蕉为-13.14%，表明在常见食品上表现稳定。
• 对于月饼和番茄，质量估算误差低于体积误差，表明基于排水法的体积测量方法可能存在潜在不准确性。
• 该系统在自动化膳食评估中表现出鲁棒性和实用性，尤其适用于形状规则的食品。