[论文解读] Advancing Non-Contact Vital Sign Measurement using Synthetic Avatars
本文提出使用高保真度的合成化身，在不同肤色、动作和光照条件下模拟逼真的面部血流变化，以增强真实视频数据，用于训练非接触式生命体征测量模型。主要结果表明，将合成数据与真实数据结合能显著提升模型性能，特别是在跨领域和跨外观设置下，降低心率估计误差，并增强对代表性不足肤色的鲁棒性。
Non-contact physiological measurement has the potential to provide low-cost, non-invasive health monitoring. However, machine vision approaches are often limited by the availability and diversity of annotated video datasets resulting in poor generalization to complex real-life conditions. To address these challenges, this work proposes the use of synthetic avatars that display facial blood flow changes and allow for systematic generation of samples under a wide variety of conditions. Our results show that training on both simulated and real video data can lead to performance gains under challenging conditions. We show state-of-the-art performance on three large benchmark datasets and improved robustness to skin type and motion.
研究动机与目标
- 解决真实世界中用于非接触式生理测量的标注视频数据集稀缺且多样性不足的问题。
- 提升模型在真实生活条件下（如运动、动态光照和代表性不足的肤色）的泛化能力。
- 探究合成数据是否能提升成像光电容积脉搏波描记法（iPPG）模型的性能并减少偏差。
- 开发一种可扩展的、参数化的流水线，用于生成多样化、身份无关的面部视频数据，并模拟逼真的生理信号。
提出的方法
- 基于物理的光传输模型模拟光线在人体皮肤中的次表面吸收与散射，以生成逼真的面部血流变化。
- 在可控条件下渲染合成化身，包括肤色、面部表情、头部运动（平移与旋转）、光照和背景条件的变化。
- 将合成数据与真实视频数据结合，用于训练深度学习模型（如CAN），以估计心率和BVP信号。
- 通过同时利用真实与合成数据进行训练，提升模型在多样化测试条件下的鲁棒性与泛化能力。
- 在基准数据集（AFRL、MMSE-HR、DAVIS）上，于静态与动态运动条件下评估性能。
实验结果
研究问题
- RQ1高保真度的合成化身能否有效模拟逼真的面部血流变化，以用于iPPG模型的训练？
- RQ2在合成数据上进行训练是否能提升模型对真实世界条件（如运动和可变光照）的泛化能力？
- RQ3合成数据能否缓解iPPG模型中对代表性不足肤色群体的性能差异？
- RQ4与仅使用真实数据或仅使用合成数据相比，结合真实与合成数据在模型性能与鲁棒性方面表现如何？
主要发现
- 与仅使用真实数据训练相比，使用真实与合成数据联合训练使AFRL数据集上的心率估计平均绝对误差（MAE）降低了20.6%。
- 在MMSE-HR数据集中，与仅使用真实数据训练相比，合成数据使最浅肤色（Fitzpatrick II）和最深肤色（VI）群体的MAE分别降低了63.7%和74.9%。
- 使用合成数据后，恢复的BVP信号信噪比（SNR）提高了1.38 dB，表明生理信号提取质量更高。
- 仅使用合成数据训练的模型性能低于仅使用真实数据训练的模型，但联合训练在所有三个基准数据集上均达到了最先进水平。
- MAE在不同肤色群体间的标准差从仅使用真实数据时的3.50降至联合训练时的1.56，表明对代表性不足群体的性能方差显著降低。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。