[论文解读] EfficientPhys: Enabling Simple, Fast and Accurate Camera-Based Vitals Measurement

Xin Liu, Brian L. Hill+3 more|arXiv (Cornell University)|Oct 9, 2021

Non-Invasive Vital Sign Monitoring参考文献 30被引用 14

一句话总结

EfficientPhys 提出了一种新颖的、端到端的神经网络，用于基于摄像头的生命体征测量，直接处理未经任何预处理的原始视频帧，在准确度上达到最先进水平，且效率比之前的方法高出33%。它采用卷积神经网络或视觉Transformer主干网络，可在移动设备和边缘设备上实现实时部署，同时简化了跨平台的实现。

ABSTRACT

Camera-based physiological measurement is a growing field with neural models providing state-the-art-performance. Prior research have explored various "end-to-end" models; however these methods still require several preprocessing steps. These additional operations are often non-trivial to implement making replication and deployment difficult and can even have a higher computational budget than the "core" network itself. In this paper, we propose two novel and efficient neural models for camera-based physiological measurement called EfficientPhys that remove the need for face detection, segmentation, normalization, color space transformation or any other preprocessing steps. Using an input of raw video frames, our models achieve strong performance on three public datasets. We show that this is the case whether using a transformer or convolutional backbone. We further evaluate the latency of the proposed networks and show that our most light weight network also achieves a 33% improvement in efficiency.

研究动机与目标

• 消除在基于摄像头的生理传感中对复杂预处理步骤（如人脸检测、分割和色彩空间转换）的需求。
• 开发一种真正端到端的神经架构，直接以未经处理的视频帧作为输入，直接输出生命体征。
• 实现高准确度和低延迟，适用于在移动设备和边缘设备上实现实时部署。
• 通过降低工程复杂性并提高可复现性，简化跨平台的最后一步部署。
• 实现更广泛的生命体征无接触监测应用，特别是在资源有限和隐私敏感的环境中。

提出的方法

• 提出两种端到端架构：EfficientPhys-C（卷积神经网络）和 EfficientPhys-T（视觉Transformer），两者均以原始RGB视频帧作为输入。
• 引入差异层，通过计算帧间像素差异来提取细微的生理变化。
• 采用归一化模块对像素值进行零均值化处理，提升模型稳定性和性能。
• 在Transformer变体中引入张量位移模块（TSM），以增强视频帧之间的时序建模能力。
• 在基于Transformer的模型中采用自注意力机制，以捕捉空间和时间维度上的长距离依赖关系。
• 直接在原始视频数据上进行模型训练，不依赖手工设计的特征或中间表示。

实验结果

研究问题

• RQ1 是否能够通过真正端到端的深度学习模型，在无需任何预处理的情况下实现基于摄像头的生命体征测量的最先进性能？
• RQ2 在该任务中，视觉Transformer与卷积神经网络架构在准确度和效率方面有何对比？
• RQ3 消除预处理步骤在多大程度上提升了在移动设备和边缘设备上的部署可行性？
• RQ4 当训练数据有限且质量不高时，模型是否仍能保持高准确度？
• RQ5 与现有的信号处理和深度学习基线相比，该模型的延迟和计算效率如何？

主要发现

• EfficientPhys 在三个公开数据集（PURE、UBFC、MAHNOB-HCI）上实现了最先进准确度，且无需任何预处理步骤。
• EfficientPhys 最轻量级版本相比之前最先进方法，效率提升了33%。
• 消融实验表明，若移除归一化模块，卷积模型的MAE增加753%，Transformer模型的MAE增加420%。
• 自注意力机制贡献显著，若从EfficientPhys-C中移除，MAE将增加14%。
• 张量位移模块（TSM）对时序建模至关重要，其移除会使基于Transformer的模型误差增加300%。
• 当在有限数据上训练时，EfficientPhys 优于浅层卷积模型，表明其具有较强的归纳偏置和数据效率。