[论文解读] AI-based BMI Inference from Facial Images: An Application to Weight Monitoring

Hera Siddiqui, Ajita Rattani+2 more|arXiv (Cornell University)|Oct 14, 2020

Cardiovascular Health and Risk Factors被引用 4

一句话总结

本文提出并评估了五种基于深度学习的CNN架构——VGG19、ResNet50、DenseNet、MobileNet和lightCNN——通过迁移学习与回归方法，从面部图像估计身体质量指数（BMI）。主要发现是，ResNet50在Bollywood数据集上实现了最低的平均绝对误差（MAE）1.04，表明残差连接在从面部特征推断BMI方面具有显著有效性。

ABSTRACT

Self-diagnostic image-based methods for healthy weight monitoring is gaining increased interest following the alarming trend of obesity. Only a handful of academic studies exist that investigate AI-based methods for Body Mass Index (BMI) inference from facial images as a solution to healthy weight monitoring and management. To promote further research and development in this area, we evaluate and compare the performance of five different deep-learning based Convolutional Neural Network (CNN) architectures i.e., VGG19, ResNet50, DenseNet, MobileNet, and lightCNN for BMI inference from facial images. Experimental results on the three publicly available BMI annotated facial image datasets assembled from social media, namely, VisualBMI, VIP-Attributes, and Bollywood datasets, suggest the efficacy of the deep learning methods in BMI inference from face images with minimum Mean Absolute Error (MAE) of $1.04$ obtained using ResNet50.

研究动机与目标

• 研究并比较多种深度CNN架构在面部图像中BMI推断方面的性能。
• 评估预训练CNN（VGG19、ResNet50、DenseNet、MobileNet、lightCNN）在迁移学习下估计BMI的效能。
• 分析不同回归技术（SVR、岭回归）对BMI预测准确率的影响。
• 评估模型在具有不同人口统计特征和图像质量的多样化面部图像数据集上的泛化能力。
• 识别最适合在移动健康应用中实现低延迟、设备端部署的模型架构。

提出的方法

• 通过使用ImageNet预训练的CNN（VGG19、ResNet50、DenseNet、MobileNet、lightCNN）提取面部图像的深层特征，实现迁移学习。
• 对预训练CNN进行微调或作为特征提取器，将最后一层替换为回归BMI的连续值。
• 在提取的深层特征上应用两种回归模型——支持向量回归（SVR）和岭回归（RR）——进行BMI预测。
• 在三个公开数据集（VisualBMI、VIP-Attributes和Bollywood）上进行实验，各数据集具有多样化的人口统计特征和图像条件。
• 使用平均绝对误差（MAE）评估模型性能，并分别计算总体、男性和女性子集的指标。
• 为进行对比，还对自定义CNN进行了端到端训练，采用平滑L1损失进行回归。

实验结果

研究问题

• RQ1 在多种数据集上应用面部图像时，哪种深度CNN架构能实现最低的BMI预测误差？
• RQ2 当与深层特征结合时，不同回归技术（SVR与岭回归）如何影响BMI推断性能？
• RQ3 数据集的差异性（如光照、姿态、化妆以及人口多样性）如何影响BMI预测准确率？
• RQ4 预训练CNN与自定义训练CNN在从面部图像进行BMI估计方面的性能差距有多大？
• RQ5 由于残差连接和特征复用等架构优势，ResNet和DenseNet架构在多大程度上优于其他模型？

主要发现

• 在Bollywood数据集上，ResNet50结合岭回归实现了最低的平均绝对误差（MAE）1.04，优于所有其他模型。
• 在VIP-Attributes数据集上，ResNet50结合岭回归实现了1.13的MAE，为所有模型中的最低值，表明其在BMI方差较低的名人图像上表现强劲。
• DenseNet和ResNet50在所有数据集上均持续优于VGG19、MobileNet和lightCNN，尤其是在使用岭回归时。
• 在所有模型和数据集上，岭回归的MAE普遍低于支持向量回归。
• 自定义CNN架构的MAE显著更高（范围为4.12至6.65），表明由于训练数据有限，存在过拟合现象。
• 未观察到预测误差在性别之间存在显著差异，表明模型在男性和女性受试者中均表现出一致性能。