[論文レビュー] Spectral Reflectance based Heart Rate Measurement from Facial Video

Arvind Subramaniam, K. Rajitha|arXiv (Cornell University)|Jan 2, 2019

Non-Invasive Vital Sign Monitoring参考文献 12被引用数 20

ひとこと要約

本稿では、顔面動画からのリモート光体描記法（PPG）における照度補正のための新規なスペクトル反射率ベースの手法を提案する。この手法により、極端な頭部運動下でも、背景情報に依存せずに頑健な心拍数（HR）推定が可能となる。再帰的最小二乗フィルタリングと特徴点回復システムを統合することで、MAHNOB HCIデータセット上で5.21%の平均二乗誤差を達成し、先行手法を上回る性能を示した。

ABSTRACT

Remote detection of the cardiac pulse has a number of applications in sports and medicine, and can be used to determine the physiological state of the subject. Previous approaches to estimate Heart Rate from video require the subject to remain stationary and employ background information to eliminate illumination interferences. The present research proposes a spectral reflectance based novel illumination rectification method to eliminate illumination variations in the video. Our method does not rely on the background of the video and is robust to extreme motion interferences (head movements). Furthermore, in order to tackle extreme motion artifacts, the present framework introduces a novel feature point recovery system which recovers the feature tracking points lost during extreme head movements of the subject. Finally, the individual HR estimates from multiple feature points are combined to produce an average HR. We evaluate the efficacy of our framework on the MAHNOB HCI dataset, a publicly available dataset employed by previous methods. Our HR measurement framework outperformed previous methods and had a root mean square error of 5.21%.

研究の動機と目的

• 頭部運動や照度変化といった困難な条件下でも、顔面動画からの正確なリモート心拍数測定を可能にすること。
• 照度補償に背景領域に依存しないようにすることで、動的環境における頑健性を向上させること。
• 極端な頭部運動中に失われた特徴点を回復するための特徴点回復機構を開発すること。
• 複数の顔面特徴点からの個々のHR推定値を統合することで、HR推定の精度を向上させること。
• 公開済みのデータセット上でフレームワークを検証し、既存手法を上回ることを示すこと。

提案手法

• 本手法は、背景参照領域を必要とせず、顔面動画内の照度変動を推定・補正するためのスペクトル反射率モデリングを採用する。
• 再帰的最小二乗（RLS）フィルタをスペクトル反射率信号に適用し、光体描記法（PPG）の脈波を抽出する。
• 時間的・空間的整合性モデルを用いて、極端な頭部運動中に失われた特徴点を再構築する新規な特徴点回復システムを提案する。
• 複数の回復済み特徴点からの個々のHR推定値を平均化することで、より頑健で正確な推定を実現する。
• フレームワークはRGB動画シーケンスを処理し、色チャネルの変動を活用して脈動的血液体積変化を分離する。
• ピクセル単位でスペクトル反射率分解を用いて照度補正を実施し、環境光の干渉を低減する。

実験結果

リサーチクエスチョン

• RQ1 背景領域に依存せずに、スペクトル反射率モデリングが顔面動画内の照度変動を効果的に除去できるか。
• RQ2 提案手法は極端な頭部運動下でもHR推定の精度をどの程度維持できるか。
• RQ3 特徴点回復が運動アーチファクト発生時におけるHR推定の頑健性をどの程度向上させるか。
• RQ4 複数の特徴点からのHR推定値の統合は、単一点推定と比べてどの程度優れているか。
• RQ5 提案フレームワークは、標準ベンチマークデータセット上で既存のリモートPPG手法を上回る性能を示せるか。

主な発見

• 提案された照度補正手法は、背景領域を必要とせず環境光の影響を効果的に除去し、実世界の設定でも頑健性が向上した。
• 特徴点回復システムは、極端な頭部運動中に失われた特徴点を効果的に回復させ、信号の連続性を維持した。
• スペクトル反射率モデリングの活用により、照度ノイズからの脈動的血液体積変化の分離が顕著に向上し、HR推定精度が向上した。
• フレームワークはMAHNOB HCIデータセット上で5.21%の平均二乗誤差（RMSE）を達成し、先行する最先端手法を上回った。
• 複数の特徴点からのHR推定値の統合により分散が低減され、全体的な推定安定性が向上した。
• 本手法は、高運動状態および非一様な照度環境下でも優れた性能を示した。