[论文解读] MetaPhys: Few-Shot Adaptation for Non-Contact Physiological Measurement

Xin Liu, Ziheng Jiang+4 more|arXiv (Cornell University)|Oct 5, 2020

Non-Invasive Vital Sign Monitoring参考文献 42被引用 11

一句话总结

MetaPhys 提出了一种少样本元学习框架，用于非接触式视频生理测量，仅需18秒未标记视频即可实现快速个性化。通过结合无监督伪标签与元学习（MAML），该方法在跨数据集评估中实现SOTA性能，误差降低42–44%，并在不同肤色间显著减少偏差。

ABSTRACT

There are large individual differences in physiological processes, making designing personalized health sensing algorithms challenging. Existing machine learning systems struggle to generalize well to unseen subjects or contexts and can often contain problematic biases. Video-based physiological measurement is not an exception. Therefore, learning personalized or customized models from a small number of unlabeled samples is very attractive as it would allow fast calibrations to improve generalization and help correct biases. In this paper, we present a novel meta-learning approach called MetaPhys for personalized video-based cardiac measurement for contactless pulse and heart rate monitoring. Our method uses only 18-seconds of video for customization and works effectively in both supervised and unsupervised manners. We evaluate our proposed approach on two benchmark datasets and demonstrate superior performance in cross-dataset evaluation with substantial reductions (42% to 44%) in errors compared with state-of-the-art approaches. We have also demonstrated our proposed method significantly helps reduce the bias in skin type.

研究动机与目标

• 解决在未见个体和环境下的视频远程生理测量中泛化能力差的挑战。
• 减少rPPG系统中不同肤色间性能偏差这一已知问题。
• 实现仅用极少标注数据即可快速个性化生理传感模型，模拟临床校准过程。
• 开发一种无监督少样本适应方法，避免依赖金标准接触传感器进行校准。
• 提升在真实世界部署场景中的鲁棒性与泛化能力，特别是在低资源或远程医疗环境中。

提出的方法

• MetaPhys 采用基于模型无关元学习（MAML）的元学习框架，利用少量样本将预训练的基于视频的rPPG模型适配至新个体。
• 采用无监督伪标签策略，从视频帧中生成合成的真实心率信号，实现在无接触传感器标签情况下的训练。
• 联合优化主干网络与元学习器，仅使用18秒视频即可提升对新个体的适应能力。
• 引入频域信噪比（SNR）损失，以在适配过程中保持信号质量。
• 该框架支持监督与无监督微调，后者在校准过程中无需金标准标签。
• 设计为兼容联邦学习，实现无需共享原始视频数据的安全个性化。

实验结果

研究问题

• RQ1 少样本元学习方法是否能显著提升非接触式生理测量在跨数据集上的泛化能力？
• RQ2 无监督伪标签是否能有效替代rPPG系统中个性化所需的金标准标签？
• RQ3 与SOTA方法相比，MetaPhys在不同肤色间性能偏差的降低程度如何？
• RQ4 该方法在不同光照、运动及硬件条件下泛化能力如何？
• RQ5 MetaPhys能否在联邦学习设置中部署，以在保护数据隐私的同时提升模型鲁棒性？

主要发现

• 在MMSE和UBFC数据集的跨数据集评估中，MetaPhys相较于SOTA方法将平均绝对误差（MAE）降低了42–44%。
• 该方法在信噪比（SNR）方面取得显著提升，表明脉搏信号恢复质量更高。
• 在不同肤色间性能偏差显著降低，尤其提升了深色肤色个体的准确性。
• 无监督适配设置的性能与监督微调相当，证明了伪标签策略的有效性。
• MetaPhys优于标准微调和先前的元学习基线方法，尤其在低数据场景下表现更优。
• 该方法在不同视频质量、光照和运动条件下均表现出良好泛化能力，展现出在真实场景中的鲁棒性。