[论文解读] MetaPhys: Unsupervised Few-Shot Adaptation for Non-Contact Physiological Measurement.

Xin Liu, Ziheng Jiang+4 more|arXiv (Cornell University)|Oct 5, 2020

Non-Invasive Vital Sign Monitoring被引用 5

一句话总结

MetaPhys 提出了一种无监督 few-shot 元学习框架，仅需 18 秒未标注视频即可实现个性化心脏信号估计，在跨数据集评估中相比最先进方法将误差降低了 42–44%，同时通过自适应注意力机制减轻了肤色偏差。

ABSTRACT

There are large individual differences in physiological processes, making designing personalized health sensing algorithms challenging. Existing machine learning systems struggle to generalize well to unseen subjects or contexts, especially in video-based physiological measurement. Although fine-tuning for a user might address this issue, it is difficult to collect large sets of training data for specific individuals because supervised algorithms require medical-grade sensors for generating the training target. Therefore, learning personalized or customized models from a small number of unlabeled samples is very attractive as it would allow fast calibrations. In this paper, we present a novel unsupervised meta-learning approach called MetaPhys for learning personalized cardiac signals from 18-seconds of unlabeled video data. We evaluate our proposed approach on two benchmark datasets and demonstrate superior performance in cross-dataset evaluation with substantial reductions (42% to 44%) in errors compared with state-of-the-art approaches. Visualization of attention maps and ablation experiments reveal how the model adapts to each subject and why our proposed approach leads to these improvements. We have also demonstrated our proposed method significantly helps reduce the bias in skin type.

研究动机与目标

• 为解决由于个体间生理差异巨大而带来的基于视频的生理测量个性化挑战。
• 克服在微调过程中需要大规模标注数据的局限，尤其是在获取医疗级真实值成本高昂的情况下。
• 开发一种仅从 18 秒未标注视频数据中学习个性化模型的方法。
• 在无需为每位受试者提供标注数据的情况下，减少不同肤色类型下生理估计的偏差。

提出的方法

• MetaPhys 采用元学习框架，在 few-shot 适应的 episode 上进行训练，每个 episode 模拟一个具有极少标注数据的新受试者。
• 该模型使用对比学习目标，从视频帧中学习判别性表征，而无需生理标签。
• 它引入了一种注意力机制，可动态适应受试者特定的特征，从而提升对未见个体的泛化能力。
• 该架构采用新型优化方案进行端到端训练，支持仅使用每位受试者 18 秒视频即可实现快速适应。
• 该方法利用领域不变特征学习，以减少与肤色差异相关的偏差。
• 提出了一种新颖的 few-shot 适应协议，使模型能够仅使用少量未标注视频帧对新受试者进行推理。

实验结果

研究问题

• RQ1 无监督元学习方法是否能仅使用 18 秒未标注视频有效适应新受试者，以实现心脏信号估计？
• RQ2 与现有最先进方法相比，所提出方法在跨数据集评估中如何降低误差？
• RQ3 MetaPhys 在不同肤色类型下的生理测量中，能在多大程度上减轻偏差？
• RQ4 注意力图在受试者特定适应和性能提升中起到什么作用？

主要发现

• 在跨数据集评估中，MetaPhys 相比最先进方法将误差降低了 42–44%，证明其对未见受试者的泛化能力更优。
• 通过消融研究和可视化分析验证，该模型显著减少了在多样化肤色类型下的生理测量偏差。
• 注意力图显示，模型学会了聚焦于受试者特定的面部区域，从而实现了仅用极少数据即可有效个性化。
• 消融研究证实，元学习与对比表示学习的结合对性能提升至关重要。
• 该方法仅需 18 秒未标注视频即可实现快速校准，使其在实际部署中更具可行性。
• 该框架在不同数据集间表现出良好泛化能力，表明其对基于视频的生理感知中领域偏移具有鲁棒性。