[논문 리뷰] FactorizePhys: Matrix Factorization for Multidimensional Attention in Remote Physiological Sensing

J.S. Joshi, Sos С. Agaian외 1명|arXiv (Cornell University)|2024. 11. 03.

Non-Invasive Vital Sign Monitoring인용 수 4

한 줄 요약

이 논문은 원격 광량측정법(rPPG)에서 공간, 시간, 채널 attention을 동시에 계산하기 위해 비음수 행렬 분해(NMF) 기반의 인자화된 자기주도 주의 모듈(FSAM)을 사용하는 엔드 투 엔드 3D-CNN 아키텍처인 FactorizePhys을 제안한다. 이 방법은 네 개의 공개 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 파rameter 수가 현저히 적고 지연 시간은 유사한 수준을 유지하여, 더 뛰어난 다중 데이터셋 일반화 능력과 가림에 대한 강건성을 입증한다.

ABSTRACT

Remote photoplethysmography (rPPG) enables non-invasive extraction of blood volume pulse signals through imaging, transforming spatial-temporal data into time series signals. Advances in end-to-end rPPG approaches have focused on this transformation where attention mechanisms are crucial for feature extraction. However, existing methods compute attention disjointly across spatial, temporal, and channel dimensions. Here, we propose the Factorized Self-Attention Module (FSAM), which jointly computes multidimensional attention from voxel embeddings using nonnegative matrix factorization. To demonstrate FSAM's effectiveness, we developed FactorizePhys, an end-to-end 3D-CNN architecture for estimating blood volume pulse signals from raw video frames. Our approach adeptly factorizes voxel embeddings to achieve comprehensive spatial, temporal, and channel attention, enhancing performance of generic signal extraction tasks. Furthermore, we deploy FSAM within an existing 2D-CNN-based rPPG architecture to illustrate its versatility. FSAM and FactorizePhys are thoroughly evaluated against state-of-the-art rPPG methods, each representing different types of architecture and attention mechanism. We perform ablation studies to investigate the architectural decisions and hyperparameters of FSAM. Experiments on four publicly available datasets and intuitive visualization of learned spatial-temporal features substantiate the effectiveness of FSAM and enhanced cross-dataset generalization in estimating rPPG signals, suggesting its broader potential as a multidimensional attention mechanism. The code is accessible at https://github.com/PhysiologicAILab/FactorizePhys.

연구 동기 및 목표

• 기존 rPPG 방법들이 공간, 시간, 채널 차원에서 별도로 attention을 계산하는 데서 비롯하는 한계를 해결하기 위해.
• 원격 생리측정에 적합한 3D 영상 데이터를 위한 계산 효율성이 뛰어난 공동 다차원 주의 메커니즘을 개발하기 위해.
• rPPG 신호 추정에서 운동 및 가림에 대한 일반화 능력과 강건성을 향상시키기 위해.
• 제안된 주의 모듈을 3D-CNN 및 2D-CNN 아키텍처에 통합하여 그 유연성을 입증하기 위해.
• rPPG 모델링에서 다중헤드 주의 메커니즘의 경량이면서도 효과적인 대안을 제공하기 위해.

제안 방법

• 인자화된 자기주도 주의 모듈(FSAM)은 3D 피처 텐서를 비음수 행렬 분해(NMF)를 통해 볼륨 임베딩에 적용하여 공간, 시간, 채널 attention을 동시에 모델링한다.
• FSAM은 NMF를 사용해 3D 피처 텐서를 저질서 성분으로 분해함으로써 모든 차원에서 효율적이고 공동의 attention 계산을 가능하게 한다.
• 이 방법은 원시 영상 프레임에서 엔드 투 엔드 rPPG 신호 추정을 위한 3D-CNN 기반(즉, FactorizePhys)에 통합된다.
• 동일한 FSAM 모듈은 2D-CNN 기반 rPPG 아키텍처에도 적용되어 그 아키텍처 유연성을 검증한다.
• NMF 기반 주의 메커니즘은 역전파를 사용해 엔드 투 엔드로 훈련되며, 관련된 생리신호 패턴을 유지하기 위해 복원 손실을 사용한다.
• 입력의 공간 해상도를 낮춤으로써 모델 효율성을 향상시켜, FLOPS를 감소시키면서도 성능를 유지한다.

실험 결과

연구 질문

• RQ1 비음수 행렬 분해(NMF)가 rPPG 모델링에서 공동 다차원 주의를 효과적으로 계산하는 데 사용될 수 있는가?
• RQ2 제안된 FSAM 모듈이 기존 주의 메커니즘에 비해 rPPG 신호 추정 성능을 향상시키는가?
• RQ3 FactorizePhys 아키텍처는 다양한 조건을 가진 다양한 데이터셋 간에 어떻게 일반화되는가?
• RQ4 FSAM 모듈의 아키텍처 선택 및 하이퍼파라미터가 모델 성능에 어떤 영향을 미치는가?
• RQ5 FSAM 모듈은 2D-CNN을 포함한 다양한 CNN 아키텍처로 효과적으로 이식 및 적용될 수 있는가?

주요 결과

• FSAM을 탑재한 FactorizePhys는 네 개의 공개 데이터셋에서 상관관계, RMSE, MAE 측면에서 모든 최신 기술 수준(SOTA) rPPG 방법을 뛰어넘는 성능을 보이며, 뚜렷한 격차를 확보한다.
• 제안된 방법은 모델 크기가 단지 0.22 MB이며 파라미터 수가 52,168개에 불과하여 기존 SOTA 모델 대비 한 단계 감소한 수준이다.
• 파라미터 수가 적음에도 불구하고, CPU 기준 95.75ms, GPU 기준 8.97ms로 유사한 추론 지연 시간을 유지하며, PhysFormer 및 PhysNet 등의 모델을 초월한다.
• 제거 실험 결과는 NMF를 통한 공동 다차원 주의가 각 차원에서 별도로 주의를 계산하는 것보다 더 효과적임을 확인한다.
• 시각화 결과는 FSAM이 특히 안경, 수염, 머리카락 등 가림 조건에서 더 관련성이 높은 공간-시간 특징을 학습함을 보여준다.
• 이 방법은 강력한 다중 데이터셋 일반화 능력을 보이며, iBVP, PURE, UBFC-rPPG와 같은 다른 데이터셋에서 테스트할 경우에도 일관된 성능 향상을 보였다.