[论文解读] Spectral Reflectance based Heart Rate Measurement from Facial Video

Arvind Subramaniam, K. Rajitha|arXiv (Cornell University)|Jan 2, 2019

Non-Invasive Vital Sign Monitoring参考文献 12被引用 20

一句话总结

本文提出了一种基于光谱反射率的光照校正方法，用于从面部视频中进行远程光电容积脉搏波（PPG）测量，可在极端头部运动下实现鲁棒的心率（HR）估计，且无需依赖背景信息。通过整合递归最小二乘滤波与特征点恢复系统，该框架在MAHNOB HCI数据集上实现了5.21%的均方根误差，优于先前方法。

ABSTRACT

Remote detection of the cardiac pulse has a number of applications in sports and medicine, and can be used to determine the physiological state of the subject. Previous approaches to estimate Heart Rate from video require the subject to remain stationary and employ background information to eliminate illumination interferences. The present research proposes a spectral reflectance based novel illumination rectification method to eliminate illumination variations in the video. Our method does not rely on the background of the video and is robust to extreme motion interferences (head movements). Furthermore, in order to tackle extreme motion artifacts, the present framework introduces a novel feature point recovery system which recovers the feature tracking points lost during extreme head movements of the subject. Finally, the individual HR estimates from multiple feature points are combined to produce an average HR. We evaluate the efficacy of our framework on the MAHNOB HCI dataset, a publicly available dataset employed by previous methods. Our HR measurement framework outperformed previous methods and had a root mean square error of 5.21%.

研究动机与目标

• 在头部运动和光照变化等挑战性条件下，实现从面部视频中准确进行远程心率测量。
• 消除对背景区域进行光照补偿的依赖，提升在动态环境中的鲁棒性。
• 开发一种特征点恢复机制，以在极端头部运动期间恢复丢失的追踪点。
• 通过融合来自多个面部特征点的个体心率估计值，提升心率估计的准确性。
• 在公开可用的数据集上验证该框架，并证明其优于现有方法。

提出的方法

• 该方法采用光谱反射率建模，以估计并校正面部视频中的光照变化，而无需依赖背景参考区域。
• 对光谱反射率信号应用递归最小二乘（RLS）滤波器，以提取光电容积脉搏波（PPG）脉搏波。
• 提出一种新型特征点恢复系统，利用时空一致性模型在极端头部运动期间重建丢失的追踪点。
• 将多个恢复后的特征点的个体心率估计值进行平均，以提升鲁棒性与准确性。
• 该框架处理RGB视频序列，并利用色彩通道变化来分离搏动性血容量变化。
• 通过逐像素的光谱反射率分解执行光照校正，减少环境光照的干扰。

实验结果

研究问题

• RQ1 基于光谱反射率建模是否能有效消除面部视频中的光照变化，而无需依赖背景区域？
• RQ2 所提出的方法在极端头部运动下能否保持心率估计的准确性？
• RQ3 特征点恢复在运动伪影期间对心率估计鲁棒性的提升程度如何？
• RQ4 融合多个特征点的心率估计值与单点估计相比有何差异？
• RQ5 所提出的框架是否在标准基准数据集上优于现有远程PPG方法？

主要发现

• 所提出的光照校正方法成功消除了环境光照影响，且无需依赖背景区域，从而增强了在真实场景中的鲁棒性。
• 特征点恢复系统在极端头部运动期间能有效恢复丢失的追踪点，维持信号连续性。
• 采用光谱反射率建模显著提升了心率估计的准确性，通过将搏动性血容量变化与光照噪声分离。
• 该框架在MAHNOB HCI数据集上实现了5.21%的均方根误差（RMSE），优于先前的最先进方法。
• 融合多个特征点的心率估计值降低了方差，提升了整体估计的稳定性。
• 该方法在高运动与非均匀光照等挑战性条件下表现出色。