[論文レビュー] rPPG-Toolbox: Deep Remote PPG Toolbox

Xin Liu, Girish Narayanswamy+8 more|arXiv (Cornell University)|Oct 3, 2022

Non-Invasive Vital Sign Monitoring被引用数 21

ひとこと要約

カメラベースのバイタルサイン推定を標準化し再現するための、六つの非監視 rPPG モデルと六つの監視付き rPPG モデル、データセットローダ、前処理、訓練、評価、ベンチマークを実装する包括的なオープンソースツールボックス。

ABSTRACT

Camera-based physiological measurement is a fast growing field of computer vision. Remote photoplethysmography (rPPG) utilizes imaging devices (e.g., cameras) to measure the peripheral blood volume pulse (BVP) via photoplethysmography, and enables cardiac measurement via webcams and smartphones. However, the task is non-trivial with important pre-processing, modeling, and post-processing steps required to obtain state-of-the-art results. Replication of results and benchmarking of new models is critical for scientific progress; however, as with many other applications of deep learning, reliable codebases are not easy to find or use. We present a comprehensive toolbox, rPPG-Toolbox, that contains unsupervised and supervised rPPG models with support for public benchmark datasets, data augmentation, and systematic evaluation: \url{https://github.com/ubicomplab/rPPG-Toolbox}

研究の動機と目的

• カメラベースの生理センサリング（rPPG）のエンドツーエンドの再現可能な開発とベンチマークを可能にする。
• 公開データセットのサポート、前処理、モデル実装、評価パイプラインを提供する。
• rPPG研究におけるデータ処理、ラベル、評価指標の標準化を通じて再現性のギャップに対処する。
• 弱教師あり学習、データ拡張、マルチタスク拡張など、先進的なトレーニングワークフローを促進する。

提案手法

• 標準化された前処理を neural inputs（raw、Standardized、DiffNormalized）へ適用する six public datasets のサポート。
• 六つの非監視 rPPG 手法（Green、ICA、CHROM、POS、PBV、LGI）の実装。
• 六つの監督付きニューラルアーキテクチャの実装（例：DeepPhys、PhysNet、PhysFormer、TS-CAN、EfficientPhys-C、BigSmall拡張）。
• PyTorch を用いた設定主導の訓練、検証、テスト、1cycle 学習率ポリシー、標準損失による。
• 2nd-order Butterworth フィルタリング、FFT またはピーク検出による心拍数推定、複数の HR 指標を含む後処理。
• データセット横断のクロスデータセット訓練と再現性重視の指標によるベースラインベンチマーク。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのオープンソースツールボックスは、複数の公開データセットに跨る再現可能なベースラインをrPPGに提供できるか。
• RQ2 標準化された前処理と評価の下で、非監視ベースライン法は監視付きニューラルモデルとどのように比較されるか。
• RQ3 データ前処理の選択と後処理パラメータが心拍推定の精度に与える影響は何か。
• RQ4 弱教師あり学習とモーション拡張データは rPPG モデルの一般化を改善できるか。
• RQ5 マルチタスク学習（例：PPGと呼吸、顔のアクション）を rPPG パイプラインに統合するにはどうすればよいか。

主な発見

• このツールボックスは six datasets、six unsupervised methods、そして six neural models に跨るエンドツーエンドの再現可能な実験を可能にする。
• データセット横断訓練と標準評価は、非監視・監視付きの両方のアプローチの性能傾向を明らかにする。
• 弱教師あり疑似ラベル（POS由来）は特定のデータセットで競争力のある結果を生む可能性がある。
• モーション拡張訓練は、いくつかの構成でターゲットデータセットに対するロバスト性を向上させる。
• 前処理と後処理の選択は、HR推定指標（MAE、MAPE、ρ）に大きな影響を与える。
• ツールボックスはマルチタスクセ extensions (PPG、呼吸、表情アクション) をサポートし、測定可能な性能トレードオフを提供する。