[論文レビュー] FactorizePhys: Matrix Factorization for Multidimensional Attention in Remote Physiological Sensing

J.S. Joshi, Sos С. Agaian+1 more|arXiv (Cornell University)|Nov 3, 2024

Non-Invasive Vital Sign Monitoring被引用数 4

ひとこと要約

本稿では、非負値行列分解（NMF）に基づく因子化自己注意モジュール（FSAM）を用いたエンドツーエンドの3D-CNNアーキテクチャ、FactorizePhysを提案する。この手法は、リモート・ポリペルスモグラフィ（rPPG）において、空間的・時間的・チャネル的注意を同時に計算する。4つの公開データセットにおいて最先端の性能を達成し、パラメータ数を著しく削減するとともに、同等の遅延を維持しており、データセット間の一般化性能と遮蔽に対するロバスト性に優れていることが示された。

ABSTRACT

Remote photoplethysmography (rPPG) enables non-invasive extraction of blood volume pulse signals through imaging, transforming spatial-temporal data into time series signals. Advances in end-to-end rPPG approaches have focused on this transformation where attention mechanisms are crucial for feature extraction. However, existing methods compute attention disjointly across spatial, temporal, and channel dimensions. Here, we propose the Factorized Self-Attention Module (FSAM), which jointly computes multidimensional attention from voxel embeddings using nonnegative matrix factorization. To demonstrate FSAM's effectiveness, we developed FactorizePhys, an end-to-end 3D-CNN architecture for estimating blood volume pulse signals from raw video frames. Our approach adeptly factorizes voxel embeddings to achieve comprehensive spatial, temporal, and channel attention, enhancing performance of generic signal extraction tasks. Furthermore, we deploy FSAM within an existing 2D-CNN-based rPPG architecture to illustrate its versatility. FSAM and FactorizePhys are thoroughly evaluated against state-of-the-art rPPG methods, each representing different types of architecture and attention mechanism. We perform ablation studies to investigate the architectural decisions and hyperparameters of FSAM. Experiments on four publicly available datasets and intuitive visualization of learned spatial-temporal features substantiate the effectiveness of FSAM and enhanced cross-dataset generalization in estimating rPPG signals, suggesting its broader potential as a multidimensional attention mechanism. The code is accessible at https://github.com/PhysiologicAILab/FactorizePhys.

研究の動機と目的

• 既存のrPPG手法が空間的・時間的・チャネル的次元ごとに独立して注意を計算するという限界を是正すること。
• リモート生理センシングにおける3D動画データに適した、計算効率が良く、統合的な多次元注意メカニズムの開発。
• rPPG信号推定における動きや遮蔽に対する一般化性能とロバスト性の向上。
• 提案された注意モジュールを3D-CNNおよび2D-CNNアーキテクチャの両方に統合することで、その汎用性を実証すること。
• rPPGモデリングにおけるマルチヘッド注意機構の軽量かつ効果的な代替手段を提供すること。

提案手法

• 因子化自己注意モジュール（FSAM）は、ボクセル埋め込みに非負値行列分解（NMF）を適用し、空間的・時間的・チャネル的注意を統合的にモデル化する。
• FSAMは、NMFを用いて3次元特徴テンソルを低ランク成分に分解し、すべての次元にわたる効率的で統合的な注意計算を可能にする。
• この手法は、生動画フレームからのエンドツーエンドのrPPG信号推定を目的とした3D-CNNバックボーン（FactorizePhys）に統合されている。
• 同じFSAMモジュールは、2D-CNNベースのrPPGアーキテクチャにも適用され、そのアーキテクチャ的汎用性が検証された。
• NMFに基づく注意メカニズムは、関連する生理的信号パターンを保持するための再構成損失を用いて、バックプロパゲーションによりエンドツーエンドで学習される。
• 入力の空間的解像度を低減することでモデルの効率が向上し、FLOPSが低下しても性能が維持される。

実験結果

リサーチクエスチョン

• RQ1 非負値行列分解（NMF）は、rPPGモデリングにおける統合的多次元注意の計算に効果的に適用可能か？
• RQ2 提案されたFSAMモジュールは、既存の注意メカニズムと比較してrPPG信号推定性能を向上させるか？
• RQ3 FactorizePhysアーキテクチャは、異なる条件を有する多様なデータセット間でどのように一般化するか？
• RQ4 FSAMモジュールにおけるアーキテクチャ的選択とハイパーパrameterがモデル性能に与える影響は何か？
• RQ5 FSAMモジュールは、2D-CNNを含むさまざまなCNNアーキテクチャに効果的に移植・適用可能か？

主な発見

• FSAMを搭載したFactorizePhysは、4つの公開データセットにおいて、相関係数、RMSE、MAEの観点で、すべての最先端rPPG手法を著しく上回った。
• 提案手法は、わずか0.22 MBのモデルサイズと52,168パラメータで実現しており、既存のSOTAモデルと比較して1桁のオーダーの削減を達成した。
• パラメータ数が少ないにもかかわらず、推論遅延は同等を維持しており、CPUで95.75ms、GPUで8.97msの性能を示し、PhysFormer や PhysNet などのモデルを上回った。
• アブレーションスタディの結果、次元ごとに別々に注意を計算するのではなく、NMFを用いた統合的多次元注意がより効果的であることが確認された。
• 可視化結果から、FSAMは特にメガネ、ヒゲ、髪の影響を受けるような遮蔽状況下でも、より関連性の高い空間的・時間的特徴を学習していることが示された。
• 本手法は強力なデータセット間一般化性能を示し、iBVP、PURE、UBFC-rPPGなどの異なるデータセットで、1つのデータセットで学習した後、他のデータセットでテストした場合にも一貫した性能向上を示した。