[论文解读] FactorizePhys: Matrix Factorization for Multidimensional Attention in Remote Physiological Sensing

J.S. Joshi, Sos С. Agaian+1 more|arXiv (Cornell University)|Nov 3, 2024

Non-Invasive Vital Sign Monitoring被引用 4

一句话总结

该论文提出FactorizePhys，一种端到端3D-CNN架构，采用基于非负矩阵分解（NMF）的因子化自注意力模块（FSAM），联合计算远程光电容积脉搏波图（rPPG）中的空间、时间与通道注意力。该方法在四个公开数据集上实现了最先进性能，参数量显著减少且延迟相当，展现出优越的跨数据集泛化能力以及对遮挡的鲁棒性。

ABSTRACT

Remote photoplethysmography (rPPG) enables non-invasive extraction of blood volume pulse signals through imaging, transforming spatial-temporal data into time series signals. Advances in end-to-end rPPG approaches have focused on this transformation where attention mechanisms are crucial for feature extraction. However, existing methods compute attention disjointly across spatial, temporal, and channel dimensions. Here, we propose the Factorized Self-Attention Module (FSAM), which jointly computes multidimensional attention from voxel embeddings using nonnegative matrix factorization. To demonstrate FSAM's effectiveness, we developed FactorizePhys, an end-to-end 3D-CNN architecture for estimating blood volume pulse signals from raw video frames. Our approach adeptly factorizes voxel embeddings to achieve comprehensive spatial, temporal, and channel attention, enhancing performance of generic signal extraction tasks. Furthermore, we deploy FSAM within an existing 2D-CNN-based rPPG architecture to illustrate its versatility. FSAM and FactorizePhys are thoroughly evaluated against state-of-the-art rPPG methods, each representing different types of architecture and attention mechanism. We perform ablation studies to investigate the architectural decisions and hyperparameters of FSAM. Experiments on four publicly available datasets and intuitive visualization of learned spatial-temporal features substantiate the effectiveness of FSAM and enhanced cross-dataset generalization in estimating rPPG signals, suggesting its broader potential as a multidimensional attention mechanism. The code is accessible at https://github.com/PhysiologicAILab/FactorizePhys.

研究动机与目标

• 解决现有rPPG方法在空间、时间与通道维度上独立计算注意力的局限性。
• 开发一种计算高效的联合多维注意力机制，适用于远程生理感知中的3D视频数据。
• 提升rPPG信号估计在运动与遮挡情况下的跨数据集泛化能力与鲁棒性。
• 通过将FSAM模块集成到3D-CNN与2D-CNN架构中，验证其架构通用性。
• 为rPPG建模提供一种轻量化但高效的多头注意力机制替代方案。

提出的方法

• 因子化自注意力模块（FSAM）利用非负矩阵分解（NMF）对体素嵌入进行处理，联合建模空间、时间与通道注意力。
• FSAM通过NMF将3D特征张量分解为低秩分量，实现在所有维度上的高效且联合的注意力计算。
• 该方法被集成到3D-CNN主干网络（FactorizePhys）中，实现从原始视频帧端到端的rPPG信号估计。
• 相同FSAM模块也被部署于基于2D-CNN的rPPG架构中，以验证其架构通用性。
• 基于NMF的注意力机制通过反向传播进行端到端训练，采用重建损失以保留相关生理信号模式。
• 通过降低输入空间分辨率提升模型效率，降低FLOPS同时保持性能。

实验结果

研究问题

• RQ1 非负矩阵分解能否有效用于rPPG建模中联合多维注意力的计算？
• RQ2 与现有注意力机制相比，所提出的FSAM模块是否能提升rPPG信号估计性能？
• RQ3 FactorizePhys架构在不同条件下的多样化数据集上泛化能力如何？
• RQ4 FSAM模块中的架构选择与超参数对模型性能有何影响？
• RQ5 FSAM模块能否有效迁移并应用于不同CNN架构（包括2D-CNN）？

主要发现

• 在四个公开数据集上，FactorizePhys结合FSAM在相关性、RMSE与MAE指标上全面超越所有最先进rPPG方法，且优势显著。
• 所提方法模型大小仅为0.22 MB，参数量仅52,168个，相比现有SOTA模型减少一个数量级。
• 尽管参数量更少，该方法保持了相当的推理延迟，CPU上为95.75ms，GPU上为8.97ms，优于PhysFormer与PhysNet等模型。
• 消融实验表明，通过NMF实现的联合多维注意力优于在各维度上分别计算注意力的方法。
• 可视化结果表明，FSAM能学习到更具相关性的时空特征，尤其在佩戴眼镜、胡须与长发等遮挡条件下表现更优。
• 该方法展现出强大的跨数据集泛化能力，当在某一数据集上训练并在iBVP、PURE与UBFC-rPPG等其他数据集上测试时，性能持续提升。