[論文レビュー] Neuron Structure Modeling for Generalizable Remote Physiological Measurement

Hao Lu, Zitong Yu+2 more|arXiv (Cornell University)|Mar 10, 2023

Non-Invasive Vital Sign Monitoring被引用数 4

ひとこと要約

本稿では、rPPGを用いた遠隔生理測定のためのドメインラベルフリー手法NESTを提案する。NESTは、カバレッジ最大化、ターゲットアライメント、多様性最大化を通じてニューラル構造をモデル化し、一般化性能を向上させる。明示的なドメインラベルに依存せず、クロスデータセットおよびイントラデータセットベンチマークで最先端手法を上回り、現実的でドメインに偏らない環境でも堅牢性を示す。

ABSTRACT

Remote photoplethysmography (rPPG) technology has drawn increasing attention in recent years. It can extract Blood Volume Pulse (BVP) from facial videos, making many applications like health monitoring and emotional analysis more accessible. However, as the BVP signal is easily affected by environmental changes, existing methods struggle to generalize well for unseen domains. In this paper, we systematically address the domain shift problem in the rPPG measurement task. We show that most domain generalization methods do not work well in this problem, as domain labels are ambiguous in complicated environmental changes. In light of this, we propose a domain-label-free approach called NEuron STructure modeling (NEST). NEST improves the generalization capacity by maximizing the coverage of feature space during training, which reduces the chance for under-optimized feature activation during inference. Besides, NEST can also enrich and enhance domain invariant features across multi-domain. We create and benchmark a large-scale domain generalization protocol for the rPPG measurement task. Extensive experiments show that our approach outperforms the state-of-the-art methods on both cross-dataset and intra-dataset settings.

研究の動機と目的

• 環境の変動やドメインラベルの欠如による遠隔脈波計測（rPPG）におけるドメインシフトの課題に対処すること。
• 複雑なrPPGの状況では曖昧になるが、明確に定義されたドメインラベルに依存する既存のドメイン一般化手法の限界を克服すること。
• ドメインアノテーションを必要とせずに、未知の環境におけるモデルの一般化性能を向上させること。
• rPPGのための大規模ドメイン一般化プロトコルを構築し、ベンチマーク化して、多様なデータセット間でのモデルの堅牢性を評価すること。
• 特徴空間のカバレッジを向上させ、ドメイン固有の特徴を抑制し、判別性の高い特徴を強化することで、分布外性能を向上させること。

提案手法

• 訓練中に最適化が不十分なニューラルユニットの活性化を促進することで、特徴空間の正則化を図るニューラル構造カバレッジ最大化（NEST-CM）を提案する。
• 異なるドメイン間で類似した生理的信号を持つサンプルの特徴をアライメントすることで、ドメイン不変表現を向上させるニューラル構造ターゲットアライメント（NEST-TA）を導入する。
• 異なるサンプルの表現を引き離すことで、判別能力を強化するニューラル構造多様性最大化（NEST-DM）を開発する。
• 顔面動画からの空間的時間的マップ（STMaps）を入力として用い、rPPG信号推定のための空間的時間的特徴を抽出する。
• NEST-CM、NEST-TA、NEST-DMの損失を組み合わせてモデルを訓練し、耐性、不変性、多様性を同時に最適化する。
• 一般化性能の検証のため、クロスデータセット（MSDG）およびイントラデータセット（VIPL-HRの5分割交差検証）の両設定で本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 環境的・機器的変動によりドメインラベルが曖昧または定義されない状況下でも、rPPGにおけるドメイン一般化手法が有効に機能するか。
• RQ2 ニューラル構造モデリングは、分布外サンプルにおける異常な活性化を低減し、特徴空間のカバレッジをどのように向上させるか。
• RQ3 rPPGにおいて明示的なドメインアノテーションに依存せずに、ドメイン不変特徴をどの程度向上させられるか。
• RQ4 提案手法は、クロスデータセットおよびイントラデータセットの評価プロトコルの両方で、既存のSOTA手法を上回る一般化性能を示すか。
• RQ5 NEST-CM、NEST-TA、NEST-DMにおけるハイパーパrameterが、モデルの性能および堅牢性に与える影響はいかほどか。

主な発見

• NESTはマルチドメイン一般化（MSDG）プロトコルにおいて、DeepPhys や TS-CAN を含むすべてのSOTA手法を上回る最高の性能を達成した。
• VIPL-HRデータセットでは、ベースラインと比較してMAEを0.46、RMSEを0.56削減し、4.76のMAEおよび7.51のRMSEを達成した。
• VIPL-HRではr値が0.84を記録し、次に優れた手法（Dual-GAN）のr=0.81を著しく上回った。
• ドメインが明確に分離できない、アノテーションなしのドメイン設定においても、本手法は堅牢性を示し、ラベルフリー設計の有効性を裏付けた。
• ハイパーパrameterのアブレーション分析から、NEST-CMではρ=0.1、NEST-TAではσ=5、NEST-DMではτを中程度の値に設定した際に最適な性能が得られ、バランスの取れた正則化の重要性が確認された。
• ピアソン相関解析により、NEST-TAは連続するHRラベルに沿った滑らかな表現遷移を生成し、OODサンプルの予測誤差を低減することが確認された。