[论文解读] Efficient Deep Learning-based Estimation of the Vital Signs on Smartphones

Taha Samavati, Mahdi Farvardin+1 more|arXiv (Cornell University)|Apr 13, 2022

Telemedicine and Telehealth Implementation被引用 6

一句话总结

该论文提出了一种端到端、完全卷积的深度学习模型，用于在无需任何预处理的情况下，实现实时、基于智能手机的心率和SpO2估算。该方法在显著减少参数量和计算复杂度的同时，实现了最先进的准确率，从而能够在低端设备上部署，并提出了一个公开的MTHS数据集，包含62段由智能手机拍摄的PPG视频及其对应的生理指标真实值。

ABSTRACT

With the increasing use of smartphones in our daily lives, these devices have become capable of performing many complex tasks. Concerning the need for continuous monitoring of vital signs, especially for the elderly or those with certain types of diseases, the development of algorithms that can estimate vital signs using smartphones has attracted researchers worldwide. In particular, researchers have been exploring ways to estimate vital signs, such as heart rate, oxygen saturation levels, and respiratory rate, using algorithms that can be run on smartphones. However, many of these algorithms require multiple pre-processing steps that might introduce some implementation overheads or require the design of a couple of hand-crafted stages to obtain an optimal result. To address this issue, this research proposes a novel end-to-end solution to mobile-based vital sign estimation using deep learning that eliminates the need for pre-processing. By using a fully convolutional architecture, the proposed model has much fewer parameters and less computational complexity compared to the architectures that use fully-connected layers as the prediction heads. This also reduces the risk of overfitting. Additionally, a public dataset for vital sign estimation, which includes 62 videos collected from 35 men and 27 women, is provided. Overall, the proposed end-to-end approach promises significantly improved efficiency and performance for on-device health monitoring on readily available consumer electronics.

研究动机与目标

• 开发一种基于智能手机摄像头和闪光灯的实时、可部署于移动设备的生理指标（心率和SpO2）估算方法。
• 消除先前方法中常见的复杂、手工设计的预处理步骤。
• 通过用完全卷积架构替代全连接层，降低模型复杂度和过拟合风险。
• 提供一个公开可用的数据集（MTHS），包含由智能手机捕获的PPG信号及其真实心率和SpO2值。
• 通过减少计算和参数需求，实现在低端移动设备上的高效部署。

提出的方法

• 所提出的模型采用完全卷积神经网络（FCN）架构，直接处理智能手机摄像头和闪光灯捕获的原始RGB时序信号，跳过所有预处理步骤。
• 模型以30 fps的帧率处理视频帧的平均红、绿、蓝通道值，生成一个3通道的一维信号作为输入。
• 采用残差全卷积网络（Residual FCN）作为性能最佳的架构，通过跳跃连接改善梯度流动和训练稳定性。
• 模型采用多种损失函数进行端到端训练：MSE、MAE、Huber和log-cosh，其中MAE和log-cosh显示出更好的鲁棒性。
• 模型权重转换为TensorFlow Lite（TFLite）格式，以实现在Android智能手机（v5.0及以上）上的高效推理。
• 应用程序每10秒捕获一帧，计算平均RGB信号，并实时推断生理指标。

实验结果

研究问题

• RQ1 端到端的深度学习模型能否在无需任何预处理的情况下，从智能手机捕获的PPG信号中估算心率和SpO2？
• RQ2 与使用全连接层的模型相比，全卷积架构是否能显著降低模型参数量和计算复杂度？
• RQ3 所提出的方法在基于智能手机的生理指标估算任务中是否达到了最先进性能？
• RQ4 该模型能否在计算资源有限的低端移动设备上实现高效部署，且推理开销极低？
• RQ5 不同损失函数和网络架构对模型性能有何影响？

主要发现

• 在MTHS测试集上，残差全卷积网络（Residual FCN）模型在心率估算中实现了最低的平均绝对误差（MAE）6.59，优于其他架构。
• 同一Residual FCN模型在SpO2估算中实现了1.24的MAE，代表了当前最先进的性能表现。
• 基于DCT的模型参数量仅为基线模型的1/10，却取得了比基线模型更低的MAE，证明了其参数效率。
• 与使用全连接层的模型相比，全卷积架构显著降低了过拟合风险和计算复杂度。
• 该模型已成功部署于Android智能手机上，借助TFLite实现每10秒一次的实时推理，延迟极低。
• 公开发布了包含62名受试者、共62段视频的MTHS数据集，其真实心率和SpO2值可供未来研究使用。