[论文解读] An Artificial Intelligence-Based System for Nutrient Intake Assessment of Hospitalised Patients

Ya Lu, Thomai Stathopoulou+7 more|arXiv (Cornell University)|Jun 7, 2019

Nutrition and Health in Aging参考文献 11被引用 3

一句话总结

本文提出了一种基于人工智能的系统，通过在进餐前后拍摄的RGB-深度图像对，估算住院患者的食物营养摄入量。该系统结合多任务神经网络与三维表面重建技术，在营养估算方面实现了15%的平均误差，实现了完全自动化、高精度且低负担的饮食摄入监测。

ABSTRACT

Regular nutrient intake monitoring in hospitalised patients plays a critical role in reducing the risk of disease-related malnutrition (DRM). Although several methods to estimate nutrient intake have been developed, there is still a clear demand for a more reliable and fully automated technique, as this could improve the data accuracy and reduce both the participant burden and the health costs. In this paper, we propose a novel system based on artificial intelligence to accurately estimate nutrient intake, by simply processing RGB depth image pairs captured before and after a meal consumption. For the development and evaluation of the system, a dedicated and new database of images and recipes of 322 meals was assembled, coupled to data annotation using innovative strategies. With this database, a system was developed that employed a novel multi-task neural network and an algorithm for 3D surface construction. This allowed sequential semantic food segmentation and estimation of the volume of the consumed food, and permitted fully automatic estimation of nutrient intake for each food type with a 15% estimation error.

研究动机与目标

• 解决住院患者营养摄入监测中缺乏可靠、自动化方法的问题。
• 减轻患者和医护人员在手动饮食评估中所承受的负担。
• 开发一种完全自动化的系统，仅通过最少的输入即可高精度估算营养摄入。
• 创建一个包含322顿餐食的新颖标注数据库，附带图像和食谱，用于模型训练与评估。
• 从进餐前后的图像中实现实时、连续的语义食物分割与体积估算。

提出的方法

• 系统利用进餐前后拍摄的RGB-深度图像对，分析食物摄入情况。
• 采用多任务深度神经网络，同时执行食物项目的语义分割与三维表面重建。
• 通过专用算法实现三维表面构建，基于深度数据估算摄入食物的体积。
• 通过将分割出的食物区域与关联食谱的定制营养数据库结合，估算各类食物的营养摄入量。
• 训练与评估基于新创建的322顿餐食数据集，包含标注图像与食谱数据。
• 模型通过最小化营养成分估算误差进行优化，实现了15%的平均误差率。

实验结果

研究问题

• RQ1 基于AI的系统能否准确地从进餐前后的RGB-深度图像中估算营养摄入？
• RQ2 多任务神经网络在同时执行食物分割与三维重建以用于饮食评估方面效果如何？
• RQ3 从深度数据中实现自动体积估算在多大程度上能提升营养摄入估算的准确性？
• RQ4 在仅需最少人工输入的完全自动化系统中，可实现的估算误差水平是多少？
• RQ5 一个新颖的标注餐食数据库能否为该类系统的可靠训练与评估提供支持？

主要发现

• 该系统在所有食物类型上的营养摄入估算平均误差为15%，表现出高精度。
• 多任务神经网络成功实现了从图像对中进行连续语义食物分割与三维表面重建。
• 深度数据的整合实现了对摄入食物体积的可靠估算，这是营养计算的关键因素。
• 新创建的包含322顿餐食、标注图像与食谱的数据集，为训练与评估提供了坚实基础。
• 该系统实现了完全自动化、低负担的营养摄入监测，减少了对人工饮食记录的依赖。
• 与传统人工评估相比，该方法在可扩展性与一致性方面表现显著更优。