[论文解读] Advancing Smart Malnutrition Monitoring: A Multi-Modal Learning Approach for Vital Health Parameter Estimation

Ashish Marisetty, Prathistith Raj M+3 more|arXiv (Cornell University)|Jul 31, 2023

Nutrition and Health in AgingMedicine被引用 3

一句话总结

该论文提出了一种多模态学习框架，仅通过一张全身图像即可利用3D重建和融合的2D面部/身体嵌入来估算身高、体重以及体脂率（BMI）、基础代谢率（BMR）、体脂百分比（BFP）等关键健康参数。该方法实现了最先进性能，身高估计的平均绝对误差为±4.7 cm，体重估计的平均绝对误差为±5.3 kg，可在资源有限的环境中实现基于智能手机的非侵入式营养不良监测。

ABSTRACT

Malnutrition poses a significant threat to global health, resulting from an inadequate intake of essential nutrients that adversely impacts vital organs and overall bodily functioning. Periodic examinations and mass screenings, incorporating both conventional and non-invasive techniques, have been employed to combat this challenge. However, these approaches suffer from critical limitations, such as the need for additional equipment, lack of comprehensive feature representation, absence of suitable health indicators, and the unavailability of smartphone implementations for precise estimations of Body Fat Percentage (BFP), Basal Metabolic Rate (BMR), and Body Mass Index (BMI) to enable efficient smart-malnutrition monitoring. To address these constraints, this study presents a groundbreaking, scalable, and robust smart malnutrition-monitoring system that leverages a single full-body image of an individual to estimate height, weight, and other crucial health parameters within a multi-modal learning framework. Our proposed methodology involves the reconstruction of a highly precise 3D point cloud, from which 512-dimensional feature embeddings are extracted using a headless-3D classification network. Concurrently, facial and body embeddings are also extracted, and through the application of learnable parameters, these features are then utilized to estimate weight accurately. Furthermore, essential health metrics, including BMR, BFP, and BMI, are computed to conduct a comprehensive analysis of the subject's health, subsequently facilitating the provision of personalized nutrition plans. While being robust to a wide range of lighting conditions across multiple devices, our model achieves a low Mean Absolute Error (MAE) of $\pm$ 4.7 cm and $\pm$ 5.3 kg in estimating height and weight.

研究动机与目标

• 为解决传统营养不良筛查方法依赖专业设备且在偏远地区或疫情受影响区域不切实际的问题。
• 开发一种非侵入式、可部署于智能手机的系统，仅通过一张全身图像即可估算BMI、BMR和BFP等关键健康参数。
• 克服现有方法在整体特征表示方面的不足以及对光照变化缺乏鲁棒性的问题。
• 实现在边缘设备上无需依赖外部传感器或基础设施的实时、自主健康参数估算。
• 通过仅基于视觉输入的准确、数据驱动的健康指标推断，提供个性化的营养计划。

提出的方法

• 利用基于深度学习的3D重建方法，从单张全身图像重建出高精度的3D点云。
• 使用在重建点云上训练的无头3D分类网络，提取512维的3D特征嵌入。
• 同时利用卷积神经网络从同一张图像中提取2D面部和身体嵌入。
• 通过可学习参数将3D、面部和身体嵌入进行融合，以提升体重估计的准确性。
• 基于估算出的身高和体重，计算派生的健康指标——身体质量指数（BMI）、基础代谢率（BMR）和体脂百分比（BFP）。
• 将模型部署于边缘设备原型上，实现实时、设备端推理，无需外部传感器或互联网依赖。

Figure 1: Conceptual Overview

实验结果

研究问题

• RQ1 单张全身图像是否可通过多模态特征融合实现身高和体重的精确估算？
• RQ2 将3D点云特征与2D面部及身体嵌入相结合，相较于单模态方法，能否显著提升体重估计性能？
• RQ3 在真实部署场景中，该系统对光照变化和多种设备类型的适应能力如何？
• RQ4 系统是否能在无需额外硬件或基础设施支持的情况下，实现在边缘设备上的实时、自主推理？
• RQ5 该模型在估算BMI、BMR和BFP方面，相较于现有方法在非侵入式营养不良监测中的表现如何？

主要发现

• 所提方法在身高估计中实现了±4.7 cm的平均绝对误差（MAE），在体重估计中实现了±5.3 kg的MAE，优于以往研究。
• 模型对多种光照条件和设备类型表现出鲁棒性，支持在真实场景中的可靠部署。
• 通过可学习的融合参数整合多模态特征，显著提升了体重估计的准确性，达到文献中报道的最低5.3 kg的MAE。
• 系统可在边缘设备上自主运行，无需外部传感器或基础设施，这对偏远和资源匮乏环境至关重要。
• 基于估算的身高和体重，准确计算出BMI、BMR和BFP等派生健康指标，支持全面的营养不良风险评估。
• 边缘部署的原型实现了实时、设备端的健康参数估算，支持可扩展且保护隐私的智能营养不良监测。

Figure 2: Proposed System Overview