[論文レビュー] Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces

Constantino Álvarez Casado, Miguel Bordallo López|arXiv (Cornell University)|Feb 8, 2022

Non-Invasive Vital Sign Monitoring被引用数 9

ひとこと要約

本稿では、顔面のメッシュに基づく剛体安定化、統計的およびフラクタル解析を用いた動的領域選択、QR分解に基づくRGBからPPGへの変換（OMIT）という3つの新規な構成要素を備えた、教師なしrPPGパイプラインFace2PPGを提案する。この手法は、教師なしで学習を行わないrPPG手法の中で最先端の性能を達成しており、ベンチマークデータセット上での平均絶対誤差（MAE）が2.8 ± 3.0 bpmにまで低下し、一部の教師あり深層学習手法と同等の性能を示す一方で、計算コストは低く抑えられている（1フレームあたり17 ms）。

ABSTRACT

Photoplethysmography (PPG) signals have become a key technology in many fields, such as medicine, well-being, or sports. Our work proposes a set of pipelines to extract remote PPG signals (rPPG) from the face robustly, reliably, and configurable. We identify and evaluate the possible choices in the critical steps of unsupervised rPPG methodologies. We assess a state-of-the-art processing pipeline in six different datasets, incorporating important corrections in the methodology that ensure reproducible and fair comparisons. In addition, we extend the pipeline by proposing three novel ideas; 1) a new method to stabilize the detected face based on a rigid mesh normalization; 2) a new method to dynamically select the different regions in the face that provide the best raw signals, and 3) a new RGB to rPPG transformation method, called Orthogonal Matrix Image Transformation (OMIT) based on QR decomposition, that increases robustness against compression artifacts. We show that all three changes introduce noticeable improvements in retrieving rPPG signals from faces, obtaining state-of-the-art results compared with unsupervised, non-learning-based methodologies and, in some databases, very close to supervised, learning-based methods. We perform a comparative study to quantify the contribution of each proposed idea. In addition, we depict a series of observations that could help in future implementations.

研究の動機と目的

• パイプライン構成や信号処理の選択に一貫性がなく、比較評価の再現性や公平性に欠ける現状を是正するため。
• 頭部の動き、顔の表情変化、照明の変化といった実世界の条件下でも、顔映像からのrPPG信号抽出の頑健性と信頼性を向上させるため。
• トレーニングデータを必要とせず、完全に教師なしで学習を行わないパイプラインを構築し、教師あり深層学習手法と同等の性能を達成するため。
• 信号の安定性、ノイズ抑制、アーチファクト耐性を向上させる新規な構成要素を導入するため。

提案手法

• 顔の特徴点を用いた剛体メッシュ正規化技術を導入し、ポーズや表情の変化に関係なく、同一の顔面領域からの信号抽出を安定化させる。
• 統計的およびフラクタル解析を用いて、信号対ノイズ比が最も高い顔面領域を動的に特定・選択し、ノイズが多いまたはアーチファクトに脆弱な領域を除外する。
• QR分解に基づく新規なRGBからPPGへの変換手法である直交行列画像変換（OMIT）を提案し、動画圧縮アーチファクトに対する耐性を高める。
• 顔検出、トラッキング、フィルタリング、スペクトル解析の各ステップを統一することで、6つのデータセットにわたる評価パイプラインを標準化し、公平で再現可能な比較を可能にする。
• マルチステージの信号処理パイプラインを適用：顔検出 → メッシュ正規化 → 皮膚領域分離 → 動的ROI選択 → ロウ信号抽出 → フィルタリング → スペクトル解析。
• 最終的なrPPG信号から心拍数を推定するためにスペクトル解析（周波数ドメインにおけるピーク検出など）を用い、推定値の精緻化のための後処理を実施する。

実験結果

リサーチクエスチョン

• RQ1 同一の顔面領域を時間経過にわたって一貫して抽出するためには、顔の動きや顔の表情の変化をどのように軽減できるか？
• RQ2 リアルタイムで、rPPG信号抽出に最も信頼性が高い顔面領域を自動的に特定・選択するための基準は何か？
• RQ3 深層学習に依存せずに、動画圧縮アーチファクトに対してより頑健なRGBからPPGへの変換ステップをどのように実現できるか？
• RQ4 提案された構成要素は、多様な実世界のデータセットにおいて、既存の教師なしで学習を行わないrPPG手法と比較して、どの程度rPPG性能を向上させるか？
• RQ5 完全に教師なしのパイプラインは、トレーニングデータを必要とせず、教師あり深層学習手法と同等の性能を達成できるか？

主な発見

• 提案された剛体メッシュ正規化により、ポーズ変化に関係なく同一の顔面領域が追跡されるため、信号の一貫性が著しく向上する。
• 統計的およびフラクタル解析に基づく動的領域選択により、ノイズやアーチファクトが低減され、より信頼性の高いロウ信号抽出が実現する。
• QR分解に基づくOMIT変換手法は、従来のカラーベース手法と比較して、動画圧縮アーチファクトに対して優れた耐性を示す。
• Face2PPGはUBFC-Motionデータセット上で平均絶対誤差（MAE）2.8 ± 3.0 bpmを達成し、既存のすべての教師なしで学習を行わないrPPG手法を上回る性能を示した。
• 教師なしrPPGパイプラインとして最先端の結果を達成しており、MAE値はMAHNOBで5.5 ± 5.0 bpm、UBFC-PPGで9.8 ± 4.6 bpm、PUREで12.5 ± 5.8 bpmを記録し、一部の教師あり深層学習モデルに近い性能を示した。
• パイプラインは1フレームあたり17 ms（顔検出を含めても33 ms未満）で実行可能であり、深層学習ベースのrPPG手法と比較して顕著な計算コストの優位性を示した。