[論文レビュー] EfficientPhys: Enabling Simple, Fast and Accurate Camera-Based Vitals Measurement

Xin Liu, Brian L. Hill+3 more|arXiv (Cornell University)|Oct 9, 2021

Non-Invasive Vital Sign Monitoring参考文献 30被引用数 14

ひとこと要約

EfficientPhysは、前処理を一切行わずに生動画フレームを処理する、画期的なエンドツーエンドのニューラルネットワークを提案する。この手法は、従来の手法よりも33%高い効率を達成し、最先端の正確性を実現する。畳み込み層またはビジョントランスフォーマーベースを採用しており、モバイルおよびエッジデバイスでのリアルタイムデプロイメントを可能にするとともに、クロスプラットフォーム実装を簡素化する。

ABSTRACT

Camera-based physiological measurement is a growing field with neural models providing state-the-art-performance. Prior research have explored various "end-to-end" models; however these methods still require several preprocessing steps. These additional operations are often non-trivial to implement making replication and deployment difficult and can even have a higher computational budget than the "core" network itself. In this paper, we propose two novel and efficient neural models for camera-based physiological measurement called EfficientPhys that remove the need for face detection, segmentation, normalization, color space transformation or any other preprocessing steps. Using an input of raw video frames, our models achieve strong performance on three public datasets. We show that this is the case whether using a transformer or convolutional backbone. We further evaluate the latency of the proposed networks and show that our most light weight network also achieves a 33% improvement in efficiency.

研究の動機と目的

• カメラベースの生理的センシングにおいて、顔検出、セグメンテーション、色彩空間変換といった複雑な前処理手順の必要性を排除すること。
• 未処理の動画フレームを入力とし、直接生命体征を出力する真のエンドツーエンドのニューラルアーキテクチャの開発。
• モバイルおよびエッジデバイスへのリアルタイムデプロイメントに適した、高い正確性と低遅延を達成すること。
• エンジニアリングの複雑さを軽減し、再現性を向上させることで、プラットフォーム間の最後一歩のデプロイメントを簡素化すること。
• 接触を要しない生命体征モニタリングの広範な利用可能性を実現すること、特にリソースが限られた環境やプライバシーが重視される状況において。

提案手法

• 生RGB動画フレームを入力として使用する2つのエンドツーエンドアーキテクチャ、EfficientPhys-C（畳み込み型）およびEfficientPhys-T（ビジョントランスフォーマーベース）を提案。
• フレーム間の画素差分を計算することで、微細な生理的変化を抽出するための差分層を導入。
• 画素値をゼロ中心化することで、モデルの安定性と性能を向上させる正規化モジュールを採用。
• トランスフォーマーベースのバージョンにおいて、動画フレーム間の時間的モデリングを強化するため、テンソルシフトモジュール（TSM）を統合。
• トランスフォーマーベースのモデルでは、空間的および時間的次元における長距離依存関係を捉えるために自己注意メカニズムを活用。
• 手作業で作成された特徴量や中間表現に依存せず、生動画データそのものに対して直接学習を実施。

実験結果

リサーチクエスチョン

• RQ1 完全にエンドツーエンドのディープラーニングモデルが、前処理を一切行わずにカメラベースの生命体征測定で最先端の性能を達成できるか？
• RQ2 このタスクにおいて、ビジョントランスフォーマーと畳み込みアーキテクチャの両者を比較した場合、正確性と効率性の面でどの程度差が生じるか？
• RQ3 前処理手順を排除することで、モバイルおよびエッジデバイスへのデプロイメント可能性がどの程度向上するか？
• RQ4 限られた高品質なトレーニングデータでの学習においても、モデルが高い正確性を維持できるか？
• RQ5 従来の信号処理およびディープラーニングベースラインと比較して、モデルの遅延および計算効率はどの程度か？

主な発見

• EfficientPhysは、前処理を一切行わず、3つの公開データセット（PURE、UBFC、MAHNOB-HCI）で最先端の正確性を達成した。
• 最も軽量なバージョンのEfficientPhysは、従来の最先端手法と比較して33%の効率向上を達成した。
• アブレーションスタディの結果、正規化モジュールを削除すると、畳み込みモデルではMAEが753%上昇し、トランスフォーマーモデルでは420%上昇した。
• 自己注意メカニズムは顕著な貢献を示しており、EfficientPhys-Cから削除するとMAEが14%上昇した。
• テンソルシフトモジュール（TSM）は時間的モデリングにおいて不可欠であり、トランスフォーマーベースのモデルでその除去により誤差が300%上昇した。
• 限られたデータで学習させた場合でも、EfficientPhysは浅い畳み込みモデルを上回った。これは、強いインダクティブバイアスと高いデータ効率性を示している。