[论文解读] A Reproducible Study on Remote Heart Rate Measurement

Guillaume Heusch, André Anjos+1 more|arXiv (Cornell University)|Sep 4, 2017

Non-Invasive Vital Sign Monitoring参考文献 12被引用 45

一句话总结

本文提出一个公开可用、可复现的数据库，包含40名受试者在两种光照条件下的记录，旨在标准化远程光电容积脉搏波（rPPG）评估。该研究在新的COHFACE数据集和Mahnob HCI-Tagging数据集上评估了三种最先进的rPPG算法——LiCVPR、CHROM和2SR，发现这些算法在真实世界中光照不匹配的条件下均无法实现可靠性能，仅CHROM在参数调优后表现出稳定性能。

ABSTRACT

This paper studies the problem of reproducible research in remote photoplethysmography (rPPG). Most of the work published in this domain is assessed on privately-owned databases, making it difficult to evaluate proposed algorithms in a standard and principled manner. As a consequence, we present a new, publicly available database containing a relatively large number of subjects recorded under two different lighting conditions. Also, three state-of-the-art rPPG algorithms from the literature were selected, implemented and released as open source free software. After a thorough, unbiased experimental evaluation in various settings, it is shown that none of the selected algorithms is precise enough to be used in a real-world scenario.

研究动机与目标

• 解决远程光电容积脉搏波（rPPG）算法基准测试中缺乏标准化、公开可用数据集的问题。
• 通过提供三种最先进的算法的开源实现，克服rPPG研究中的可复现性危机。
• 在多样的光照和分辨率条件下评估算法性能，以评估其泛化能力和鲁棒性。
• 建立一个系统化、无偏见的评估框架，以实现rPPG方法之间的公平比较。
• 证明当前rPPG算法无法可靠泛化至真实世界、非受限环境中。

提出的方法

• 收集一个新的、公开可用的数据集（COHFACE），包含40名受试者在两种不同光照条件（演播室和自然光）下的记录。
• 将Mahnob HCI-Tagging数据集作为第二重基准，利用同步的ECG数据作为真实心率的参考。
• 实现并发布三种最先进的rPPG算法——LiCVPR、CHROM和2SR——为开源软件，以确保可复现性。
• 应用标准化的评估协议：在演播室条件下训练，于自然光照条件下测试，以评估领域差异。
• 通过人脸边界框、下颌面部的手动掩码以及肤色过滤器提取皮肤区域，进行ROI选择的对比分析。
• 使用估计心率与真实心率之间的皮尔逊相关系数，对所有测试序列的性能进行度量。

实验结果

研究问题

• RQ1 公开可用、标准化的数据集能否提升远程光电容积脉搏波研究的可复现性与公平比较？
• RQ2 当在训练过程中未见过的真实世界光照条件下评估时，最先进的rPPG算法表现如何？
• RQ3 感兴趣区域（ROI）选择对rPPG算法性能在不同光照和分辨率条件下的影响是什么？
• RQ4 哪种rPPG算法在多样且不匹配的环境条件下表现出最稳定的性能？
• RQ5 参数调优在多大程度上能提升rPPG算法在真实世界部署场景中的鲁棒性？

主要发现

• CHROM算法在所有条件下均实现了最高且最稳定的性能，其在COHFACE数据库自然光测试集上的皮尔逊相关系数为0.30。
• 2SR算法的性能显著受ROI选择影响，使用手动定义的掩码时相关系数为0.65，而使用肤色过滤时仅达0.09。
• LiCVPR算法在所有ROI上表现均较差，使用掩码时相关系数为-0.44，表明其对光照和分辨率变化高度敏感。
• 在不匹配条件下（演播室训练，自然光测试），性能显著下降，LiCVPR的相关系数降至-0.24，表明其泛化能力差。
• 没有任何一种算法在真实世界、非受限环境中实现一致的高性能，表明当前rPPG方法尚不足以满足实际部署需求。
• 本研究证实，精细的参数调优至关重要，且在光照与分辨率条件之间实现泛化仍是rPPG研究中的主要挑战。