[論文レビュー] Video-based Remote Physiological Measurement via Cross-verified Feature Disentangling

Xuesong Niu, Zitong Yu+4 more|arXiv (Cornell University)|Jul 16, 2020

Non-Invasive Vital Sign Monitoring参考文献 23被引用数 11

ひとこと要約

本稿では、マルチスケール空間時間マップ（MSTmaps）を用いて生理的信号の表現を強化し、二重エンコーダーを備えたオートエンコーダーを用いて生理的でない特徴を交差生成することで、生理的でない特徴と分離するクロス検証特徴分離（CVD）手法を提案する。この手法は、公開データセット上で心拍数（HR）推定のRMSEを9.03 bpmから7.97 bpmに低減し、最先端の性能を達成した。

ABSTRACT

Remote physiological measurements, e.g., remote photoplethysmography (rPPG) based heart rate (HR), heart rate variability (HRV) and respiration frequency (RF) measuring, are playing more and more important roles under the application scenarios where contact measurement is inconvenient or impossible. Since the amplitude of the physiological signals is very small, they can be easily affected by head movements, lighting conditions, and sensor diversities. To address these challenges, we propose a cross-verified feature disentangling strategy to disentangle the physiological features with non-physiological representations, and then use the distilled physiological features for robust multi-task physiological measurements. We first transform the input face videos into a multi-scale spatial-temporal map (MSTmap), which can suppress the irrelevant background and noise features while retaining most of the temporal characteristics of the periodic physiological signals. Then we take pairwise MSTmaps as inputs to an autoencoder architecture with two encoders (one for physiological signals and the other for non-physiological information) and use a cross-verified scheme to obtain physiological features disentangled with the non-physiological features. The disentangled features are finally used for the joint prediction of multiple physiological signals like average HR values and rPPG signals. Comprehensive experiments on different large-scale public datasets of multiple physiological measurement tasks as well as the cross-database testing demonstrate the robustness of our approach.

研究の動機と目的

• 動画ベースの遠隔生理測定における非生理的干渉要因（頭部の動き、照明の変化、センサーノイズなど）に対処すること。
• 動画アーチファクトに起因する不要な要因と生理的信号を分離することで、遠隔光容積脈波計測（rPPG）のロバスト性と精度を向上させること。
• エンドツーエンドのマルチタスク学習フレームワークを用いて、平均心拍数（HR）とrPPG信号を同時に推定すること。
• 事前に定義された非生理的信号に依存する手法よりも優れた、データ駆動型の分離戦略を開発すること。

提案手法

• 背景ノイズを低減し、生理的信号の時間的特徴を保持するため、入力顔動画をマルチスケール空間時間マップ（MSTmaps）に変換すること。
• 一方のエンコーダーが生理的特徴を抽出し、もう一方が非生理的情報を捉える二重エンコーダー自動符号化器アーキテクチャを設計すること。
• 異なる入力からの特徴を用いて元のMSTmapsを再構築し、疑似MSTmapsを相互に生成することで、特徴の一貫性を強制する、クロス検証型分離戦略を実装すること。
• 分離された生理的特徴を用いて、平均HRとrPPG信号の共同マルチタスク予測を行うこと。
• HRとrPPG推定を同時に最適化できるように、エンドツーエンドで訓練するマルチタスク学習（MTL）を採用すること。
• 安定した学習と特徴再構築を実現するため、エンコーダーにはバッチ正規化、デコーダーにはインスタンス正規化を適用すること。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の分離戦略は、動画ベースrPPGにおける生理的信号と非生理的アーチファクトを効果的に分離できるか？
• RQ2 クロス検証型特徴分離は、実世界の条件下でも遠隔生理測定のロバスト性と精度を向上させるか？
• RQ3 本手法のCVD手法は、頭部の動き（N_movement）や顔領域ピクセル標準偏差（N_stdface）といった事前に定義された非生理的信号を用いた分離手法と比較して、どの程度優れているか？
• RQ4 分離された生理的特徴は、平均HRとrPPG信号推定の両方のマルチタスク学習に効果的に利用できるか？

主な発見

• MSTmapsを入力として用いた場合、HR推定のRMSEが9.03 bpmから7.97 bpmに低下し、精度が顕著に向上した。
• ベースライン手法と比較して、MAE（5.02 bpm）が低く、相関係数（r）も向上し、より高いロバスト性を示した。
• 頭部の動き（N_movement）や顔ピクセル標準偏差（N_stdface）といった事前に定義された非生理的信号を用いた分離手法よりも、クロス検証型分離が全評価指標で優れた性能を示した。
• MSTmapsを入力表現として用いることで、ネットワークが関連する生理的特徴を捉える能力が向上し、ノイズや関係のない変動を効果的に抑制した。
• 複数の公開データセットにわたって良好な汎化性能を示し、マルチタスク遠隔生理測定分野で最先端の性能を達成した。
• クロス検証メカニズムにより、生理的エンコーダーが運動や照明アーチファクトの干渉を最小限に抑え、HRとrPPG関連の特徴にのみ焦点を当てるようになった。