[论文解读] Fully-Automatic Semantic Segmentation for Food Intake Tracking in Long-Term Care Homes.

Kaylen J. Pfisterer, Robert Amelard+4 more|arXiv (Cornell University)|Oct 24, 2019

Nutritional Studies and Diet参考文献 31被引用 5

一句话总结

本文提出了一种完全自动化的语义分割方法，采用具有多尺度编码器-解码器结构的深度卷积神经网络（DCNN），用于在长期 care（LTC）环境中对餐盘上的食物像素进行分类。该方法在 UNIMIB 2016 数据集上进行训练，并在一项新型LTC餐盘数据集上进行测试，实现了 91.2% 的交并比（IoU），与半自动图割方法相当，同时消除了用户标注的需求，并提高了错误的一致性。

ABSTRACT

Malnutrition impacts quality of life and places annually-recurring burden on the health care system. Half of older adults are at risk for malnutrition in long-term care (LTC). Monitoring and measuring nutritional intake is paramount yet involves time-consuming and subjective visual assessment, limiting current methods' reliability. The opportunity for automatic image-based estimation exists. Some progress outside LTC has been made (e.g., calories consumed, food classification), however, these methods have not been implemented in LTC, potentially due to a lack of ability to independently evaluate automatic segmentation methods within the intake estimation pipeline. Here, we propose and evaluate a novel fully-automatic semantic segmentation method for pixel-level classification of food on a plate using a deep convolutional neural network (DCNN). The macroarchitecture of the DCNN is a multi-scale encoder-decoder food network (EDFN) architecture comprising a residual encoder microarchitecture, a pyramid scene parsing decoder microarchitecture, and a specialized per-pixel food/no-food classification layer. The network was trained and validated on the pre-labelled UNIMIB 2016 food dataset (1027 tray images, 73 categories), and tested on our novel LTC plate dataset (390 plate images, 9 categories). Our fully-automatic segmentation method attained similar intersection over union to the semi-automatic graph cuts (91.2% vs. 93.7%). Advantages of our proposed system include: testing on a novel dataset, decoupled error analysis, no user-initiated annotations, with similar segmentation accuracy and enhanced reliability in terms of types of segmentation errors. This may address several short-comings currently limiting utility of automated food intake tracking in time-constrained LTC and hospital settings.

研究动机与目标

• 为解决长期 care（LTC）环境中缺乏可靠、自动化食物摄入监测工具的问题。
• 开发一种完全自动化的语义分割系统，以消除用户发起的标注。
• 在一项新型LTC专用餐盘图像数据集上评估分割性能。
• 实现解耦的错误分析，以提升临床部署中的可靠性。
• 提升时间受限医疗环境中自动化食物摄入追踪的实用性。

提出的方法

• 采用多尺度编码器-解码器食物网络（EDFN）架构，集成残差编码器与金字塔场景解析解码器。
• 网络使用逐像素分类层，以区分餐盘上的食物与非食物区域。
• 模型在预先标注的 UNIMIB 2016 数据集（1027 幅托盘图像，73 个类别）上使用监督学习进行训练。
• 在一项新型LTC餐盘数据集（390 幅图像，9 个类别）上进行测试，以评估实际性能。
• 该架构支持多尺度特征学习，提升了在复杂食物排列情况下的分割精度。
• 推理过程中无需用户交互，可在临床工作流程中实现完全自动化运行。

实验结果

研究问题

• RQ1 完全自动化的语义分割模型能否在食物摄入追踪中实现与半自动方法相当的准确性？
• RQ2 与现有基准相比，该方法在新型LTC专用图像数据集上的表现如何？
• RQ3 该模型产生的分割错误类型是什么？与半自动方法的错误有何不同？
• RQ4 该模型能否在无需用户标注的情况下部署，同时在临床环境中保持高可靠性？
• RQ5 解耦的错误分析是否揭示了相较于传统方法更系统化的错误模式改进？

主要发现

• 所提出的完全自动方法在新型LTC餐盘数据集上实现了 91.2% 的交并比（IoU）。
• 该性能与半自动图割方法相当，后者在同一测试集上实现了 93.7% 的 IoU。
• 该方法消除了对用户发起标注的需求，显著提升了可扩展性与运行效率。
• 错误分析显示，其分割错误模式比半自动方法更具一致性和可预测性。
• 该模型在真实LTC环境中具有良好的泛化能力，对 9 种食物类别（虽有限但多样）表现出鲁棒性。
• 结果表明，完全自动化的语义分割可作为时间受限医疗环境中人工或半自动化方法的可靠替代方案。