[论文解读] Deep-HR: Fast Heart Rate Estimation from Face Video Under Realistic Conditions

Mohammad Sabokrou, Masoud Pourreza+3 more|arXiv (Cornell University)|Feb 12, 2020

Non-Invasive Vital Sign Monitoring参考文献 24被引用 4

一句话总结

本文提出 Deep-HR，一种基于深度学习的方法，可在真实条件下实现快速且精确的远程心率估计。通过将特征提取（前端）与回归（后端）解耦，并使用对抗性训练的自编码器对低质量视频帧进行优化，该方法在 MAHNOB 数据集上实现 3.41 的 RMSE，在新的 HR-D 数据集上实现 6.58 的 RMSE，同时在 GPU 上以 100 FPS 的速度运行，达到最先进性能。

ABSTRACT

This paper presents a novel method for remote heart rate (HR) estimation. Recent studies have proved that blood pumping by the heart is highly correlated to the intense color of face pixels, and surprisingly can be utilized for remote HR estimation. Researchers successfully proposed several methods for this task, but making it work in realistic situations is still a challenging problem in computer vision community. Furthermore, learning to solve such a complex task on a dataset with very limited annotated samples is not reasonable. Consequently, researchers do not prefer to use the deep learning approaches for this problem. In this paper, we propose a simple yet efficient approach to benefit the advantages of the Deep Neural Network (DNN) by simplifying HR estimation from a complex task to learning from very correlated representation to HR. Inspired by previous work, we learn a component called Front-End (FE) to provide a discriminative representation of face videos, afterward a light deep regression auto-encoder as Back-End (BE) is learned to map the FE representation to HR. Regression task on the informative representation is simple and could be learned efficiently on limited training samples. Beside of this, to be more accurate and work well on low-quality videos, two deep encoder-decoder networks are trained to refine the output of FE. We also introduce a challenging dataset (HR-D) to show that our method can efficiently work in realistic conditions. Experimental results on HR-D and MAHNOB datasets confirm that our method could run as a real-time method and estimate the average HR better than state-of-the-art ones.

研究动机与目标

• 解决在传统方法因噪声、运动和光照变化而失效的真实、非受控环境中远程心率估计的挑战。
• 即使标注训练数据有限，仍能有效实现深度学习用于心率估计，以克服模型训练的障碍。
• 开发一种实时、计算高效的算法，适用于医疗保健和健身监测等实际应用场景。
• 通过端到端优化中间表征，提升对低质量视频输入和面部遮挡（如胡须）的鲁棒性。

提出的方法

• 该方法采用两阶段深度学习框架：前端（FE）从人脸视频帧中提取与心率相关、具有判别性的表征，且无需心率标注数据。
• 后端（BE）回归网络将 FE 输出映射到心率，仅使用有限的标注心率数据进行训练，从而简化学习任务。
• 两个对抗性训练的编码器-解码器网络（$\mathcal{G}_1$ 和 $\mathcal{G}_2$）对 FE 输出和提取的颜色信号进行优化，提升对噪声和退化情况的鲁棒性。
• 前端通过自监督或无监督表示学习独立训练，专注于捕捉与血容量变化相关的细微肤色变化。
• 后端为轻量级全连接网络，用于从 FE 特征回归心率，实现快速推理。
• 整个系统通过 BE 和优化器的联合优化进行端到端训练，利用生成对抗学习提升信号质量。

实验结果

研究问题

• RQ1 当仅有有限标注训练数据时，基于深度学习的方法能否实现从人脸视频中准确估计心率？
• RQ2 在标注视频数据稀缺的情况下，如何有效训练深度神经网络用于心率估计？
• RQ3 对抗性优化网络能否在低质量视频条件下（如噪声、运动或面部毛发）提升心率估计的鲁棒性？
• RQ4 能否设计一种实时、端到端的深度学习系统，实现对传统信号处理流水线的超越？

主要发现

• Deep-HR 在 MAHNOB 数据集上测试 RMSE 达到 3.41，优于所有先前最先进方法，后者报告的 RMSE 范围为 4.07 至 25.9。
• 在新引入的 HR-D 数据集上，该方法实现 RMSE 为 6.58，显著优于此前方法（最高 RMSE 达 24.71）。
• 该方法在 GeForce GTX 1080 GPU 上以每秒 100 帧的速度运行，证实其具备实际部署所需的实时能力。
• 对抗性优化网络（$\mathcal{G}_1$ 和 $\mathcal{G}_2$）有效降低噪声并恢复退化的人脸区域，提升信号质量与估计精度。
• 该模型对胡须等面部遮挡表现出鲁棒性，而此前方法因对 ROI 区域像素颜色变化敏感而性能下降。
• 在 MAHNOB 数据集上，该方法达到相关系数（$r$）为 0.92，表明预测值与真实值心率高度一致。