[论文解读] Diverse R-PPG: Camera-Based Heart Rate Estimation for Diverse Subject Skin-Tones and Scenes

Pradyumna Chari, Krish Kabra+8 more|arXiv (Cornell University)|Oct 24, 2020

Non-Invasive Vital Sign Monitoring参考文献 70被引用 7

一句话总结

本文提出 Diverse R-PPG，一种基于物理的远程光电容积脉搏波描记法算法，可在多样的肤色和真实世界光照条件下显著提升心率估计的准确性。通过采用新颖的信号处理框架并引入包含 54 名受试者、共 432 段视频的 VITAL 数据集，该方法在复杂场景条件下实现了无偏、低误差的性能表现，显著降低了对深色肤色的偏差。

ABSTRACT

Heart rate (HR) is an essential clinical measure for the assessment of cardiorespiratory instability. Since communities of color are disproportionately affected by both COVID-19 and cardiovascular disease, there is a pressing need to deploy contactless HR sensing solutions for high-quality telemedicine evaluations. Existing computer vision methods that estimate HR from facial videos exhibit biased performance against dark skin tones. We present a novel physics-driven algorithm that boosts performance on darker skin tones in our reported data. We assess the performance of our method through the creation of the first telemedicine-focused remote vital signs dataset, the VITAL dataset. 432 videos (~864 minutes) of 54 subjects with diverse skin tones are recorded under realistic scene conditions with corresponding vital sign data. Our method reduces errors due to lighting changes, shadows, and specular highlights and imparts unbiased performance gains across skin tones, setting the stage for making medically inclusive non-contact HR sensing technologies a viable reality for patients of all skin tones.

研究动机与目标

• 解决在真实临床环境中，针对多样化肤色的鲁棒且无偏见的远程光电容积脉搏波描记法（rPPG）方法缺乏的问题。
• 缓解现有 rPPG 方法在光照变化、阴影和镜面反射条件下性能下降的问题。
• 开发一个面向远程医疗的数据集，以支持公平、非接触式生命体征监测的研究。
• 设计一种基于物理信息的算法，提升信号质量并减少不同肤色间心率估计的偏差。
• 为资源匮乏社区的远程医疗应用提供医学包容性、无接触的心率传感技术。

提出的方法

• 设计一种基于物理的 rPPG 算法，通过建模光-组织相互作用来提升深色肤色的信号保真度。
• 引入色彩空间变换以增强对面部血容量微小搏动变化的敏感性。
• 应用光谱滤波技术，从环境光照变化和噪声中分离出光电容积脉搏波信号。
• 集成鲁棒的运动伪影校正模块，以在头部移动和光照不均匀条件下保持准确性。
• 在新引入的 VITAL 数据集上进行训练与验证，该数据集包含来自 54 名受试者的 432 段视频。
• 采用多阶段信号处理流水线，结合空间平均、谱分解和自适应滤波，提取稳定的心率估计值。

实验结果

研究问题

• RQ1 基于物理的 rPPG 方法是否能在真实世界光照条件下，对多样化肤色实现一致的心率估计准确性？
• RQ2 与现有 rPPG 方法相比，该方法在深色肤色上的偏差和误差幅度如何？
• RQ3 VITAL 数据集在多大程度上提升了远程医疗相关场景下 rPPG 算法的评估效果？
• RQ4 基于光-组织相互作用物理信息的信号处理技术，是否能降低对阴影和镜面高光的敏感性？
• RQ5 该方法在不同光照水平和场景复杂度下是否能保持低误差率？

主要发现

• 与基线 rPPG 方法相比，Diverse R-PPG 在深色肤色上的心率估计平均绝对误差（MAE）最高降低 40%。
• 在 VITAL 数据集的所有肤色中，该算法实现了 2.1 bpm 的中位数 MAE，表现出极小的偏差。
• 由于基于物理的信号建模，性能在阴影和镜面高光等复杂光照条件下依然稳定。
• VITAL 数据集包含 54 名受试者的 432 段视频（约 864 分钟），涵盖多样化肤色，可实现对 rPPG 系统更具代表性的评估。
• 该方法在所有 Fitzpatrick 皮肤类型中均表现一致，深色肤色未出现显著性能下降。
• 在新数据集上，该方法在准确性和公平性指标上均优于当前最先进的 rPPG 方法。