[论文解读] rPPG-Toolbox: Deep Remote PPG Toolbox

Xin Liu, Girish Narayanswamy+8 more|arXiv (Cornell University)|Oct 3, 2022

Non-Invasive Vital Sign Monitoring被引用 21

一句话总结

一个全面的开源工具箱，实现六种无监督和六种有监督的 rPPG 模型、数据集加载、预处理、训练、评估和基准测试，以标准化并复现基于摄像头的生命体征估计。

ABSTRACT

Camera-based physiological measurement is a fast growing field of computer vision. Remote photoplethysmography (rPPG) utilizes imaging devices (e.g., cameras) to measure the peripheral blood volume pulse (BVP) via photoplethysmography, and enables cardiac measurement via webcams and smartphones. However, the task is non-trivial with important pre-processing, modeling, and post-processing steps required to obtain state-of-the-art results. Replication of results and benchmarking of new models is critical for scientific progress; however, as with many other applications of deep learning, reliable codebases are not easy to find or use. We present a comprehensive toolbox, rPPG-Toolbox, that contains unsupervised and supervised rPPG models with support for public benchmark datasets, data augmentation, and systematic evaluation: \url{https://github.com/ubicomplab/rPPG-Toolbox}

研究动机与目标

• 实现基于摄像头的生理信号感知（rPPG）的端到端可重复开发与基准测试。
• 提供公共数据集支持、预处理、模型实现和评估流水线。
• 通过标准化数据处理、标签和评估指标来解决 rPPG 研究中的可重复性差距。
• 促进包括弱监督、数据增强和多任务扩展在内的高级训练工作流。

提出的方法

• 支持六个公开数据集，带有标准化预处理以输入神经网络（raw, Standardized, DiffNormalized）。
• 实现六种无监督 rPPG 方法（Green, ICA, CHROM, POS, PBV, LGI）。
• 实现六种有监督的神经网络架构（例如，DeepPhys、PhysNet、PhysFormer、TS-CAN、EfficientPhys-C、BigSmall 扩展）。
• 基于配置的训练、验证、测试，使用 PyTorch、1cycle 学习率策略，以及标准损失函数。
• 后处理包括二阶巴特沃兹滤波、通过 FFT 或峰值检测提取心率，以及多种 HR 指标。
• 跨数据集的基线基准测试，支持跨数据集训练和以可重复性为目标的评估指标。

实验结果

研究问题

• RQ1 一个端到端的开源工具箱是否能够在多个公开数据集上提供可重复的 rPPG 基线？
• RQ2 在标准化预处理与评估下，无监督基线方法与有监督神经模型的比较如何？
• RQ3 数据预处理选择与后处理参数对心率估计准确性的影响是什么？
• RQ4 弱监督与运动增强数据是否能提升 rPPG 模型的泛化能力？
• RQ5 如何将多任务训练（例如 PPG 与呼吸和面部动作）整合入 rPPG 流程？

主要发现

• 该工具箱实现了跨六个数据集、六种无监督方法和六种神经模型的端到端可重复实验。
• 跨数据集训练与标准评估揭示了无监督与有监督方法的性能模式。
• 弱监督伪标签（POS 派生）在某些数据集上可产生具有竞争力的结果。
• 在若干配置下，运动增强训练提升目标数据集的鲁棒性。
• 预处理和后处理的选择显著影响 HR 估计指标（MAE、MAPE、ρ）。
• 该工具箱支持多任务扩展（PPG、呼吸、面部动作），并存在可衡量的性能权衡。