[论文解读] Assessment of Deep Learning-based Heart Rate Estimation using Remote Photoplethysmography under Different Illuminations

Ze Yang, Haofei Wang+1 more|arXiv (Cornell University)|Jul 28, 2021

Non-Invasive Vital Sign Monitoring被引用 6

一句话总结

本文使用新发布的公开数据集 BH-rPPG，在不同光照条件下评估了基于深度学习的远程光电容积脉搏波（rPPG）在心率估计中的表现，该数据集包含35名受试者在低、中、高光照条件下的数据。研究发现，尽管传统方法（如 CHROM）在光照变化下表现优于深度学习模型（如 Physnet），但亮度数据增强显著提升了深度学习模型的鲁棒性，凸显了在 rPPG 系统中显式建模光照变化的必要性。

ABSTRACT

Remote photoplethysmography (rPPG) monitors heart rate without requiring physical contact, which allows for a wide variety of applications. Deep learning-based rPPG have demonstrated superior performance over the traditional approaches in controlled context. However, the lighting situation in indoor space is typically complex, with uneven light distribution and frequent variations in illumination. It lacks a fair comparison of different methods under different illuminations using the same dataset. In this paper, we present a public dataset, namely the BH-rPPG dataset, which contains data from thirty five subjects under three illuminations: low, medium, and high illumination. We also provide the ground truth heart rate measured by an oximeter. We evaluate the performance of three deep learning-based methods (Deepphys, rPPGNet, and Physnet) to that of four traditional methods (CHROM, GREEN, ICA, and POS) using two public datasets: the UBFC-rPPG dataset and the BH-rPPG dataset. The experimental results demonstrate that traditional methods are generally more resistant to fluctuating illuminations. We found that the Physnet achieves lowest mean absolute error (MAE) among deep learning-based method under medium illumination, whereas the CHROM achieves 1.04 beats per minute (BPM), outperforming the Physnet by 80$\%$. Additionally, we investigate potential methods for improving performance of deep learning-based methods. We find that brightness augmentation make model more robust to variation illumination. These findings suggest that while developing deep learning-based heart rate estimation algorithms, illumination variation should be taken into account. This work serves as a benchmark for rPPG performance evaluation and it opens a pathway for future investigation into deep learning-based rPPG under illumination variations.

研究动机与目标

• 为解决现有 rPPG 方法在光照条件变化下缺乏公平基准的问题。
• 开发并发布一个新的公开数据集 BH-rPPG，涵盖35名受试者在受控光照变化下的数据。
• 在低、中、高光照条件下，比较基于深度学习的 rPPG 方法（Deepphys、rPPGNet、Physnet）与传统方法（CHROM、GREEN、ICA、POS）的性能。
• 研究数据增强技术，特别是亮度增强，对提升深度学习模型在光照变化下鲁棒性的影响。

提出的方法

• 收集了一个新的公开数据集 BH-rPPG，包含35名受试者在三种光照水平（低、中、高）下的数据，每种光照条件下均配有通过脉搏血氧仪获取的真实心率作为真值。
• 在受控光照条件下，使用 UBFC-rPPG 和 BH-rPPG 两个数据集评估了三种深度学习模型（Deepphys、rPPGNet 和 Physnet）的性能。
• 在相同评估协议下，将这些模型与四种传统 rPPG 方法（CHROM、GREEN、ICA、POS）进行对比，评估对象为两个数据集。
• 在训练过程中应用亮度增强，以评估其对模型在光照变化下鲁棒性的影响。
• 使用平均绝对误差（MAE）作为主要指标，量化不同光照条件下心率估计的准确性。
• 研究了图像增强技术（如对比度调整）对 rPPG 性能的影响，但发现这些方法常破坏视频序列的时间一致性与像素分布。

实验结果

研究问题

• RQ1 与传统方法相比，基于深度学习的 rPPG 方法在光照条件变化下的表现如何？
• RQ2 亮度增强是否能提升深度学习模型在基于 rPPG 的心率估计中对光照变化的鲁棒性？
• RQ3 尽管深度学习模型在受控环境下表现更优，为何在光照变化下传统 rPPG 方法仍表现更优？
• RQ4 图像增强技术在不同光照条件下在多大程度上能提升 rPPG 的准确性？
• RQ5 训练数据分布的选择在多大程度上影响模型在真实世界光照变化下的泛化能力？

主要发现

• 在中等光照条件下，传统方法（尤其是 CHROM）实现了 1.04 次/分钟（BPM）的平均绝对误差（MAE），比表现最好的深度学习模型 Physnet 低 80%。
• 在低光照和高光照条件下，深度学习模型性能显著下降，而传统方法在不同光照条件下保持了更高的稳定性。
• 亮度增强显著提升了深度学习模型对光照变化的鲁棒性，使其对光照强度变化更具不变性。
• 图像增强技术（如对比度和亮度调整）并未提升性能，反而常因破坏视频序列的时间一致性和像素分布而降低准确性。
• BH-rPPG 数据集可作为评估 rPPG 模型在真实光照变化下表现的基准，揭示了传统方法与基于深度学习的方法在鲁棒性方面存在的关键差距。
• 本研究证明，数据增强（尤其是亮度增强）在提升 rPPG 系统光照鲁棒性方面，比图像增强更有效。