[論文レビュー] DeepPhys: Video-Based Physiological Measurement Using Convolutional Attention Networks

Weixuan Chen, Daniel McDuff|arXiv (Cornell University)|May 21, 2018

Non-Invasive Vital Sign Monitoring参考文献 37被引用数 44

ひとこと要約

DeepPhysは、RGBおよび赤外線ビデオから非接触の心拍数と呼吸数を推定するエンドツーエンドの畳み込み注意ネットワークを導入し、皮膚反射に基づく運動表現と外観ガイド付き注意機構を用いて、頭部運動や照明変動に頑健に対処します。

ABSTRACT

Non-contact video-based physiological measurement has many applications in health care and human-computer interaction. Practical applications require measurements to be accurate even in the presence of large head rotations. We propose the first end-to-end system for video-based measurement of heart and breathing rate using a deep convolutional network. The system features a new motion representation based on a skin reflection model and a new attention mechanism using appearance information to guide motion estimation, both of which enable robust measurement under heterogeneous lighting and major motions. Our approach significantly outperforms all current state-of-the-art methods on both RGB and infrared video datasets. Furthermore, it allows spatial-temporal distributions of physiological signals to be visualized via the attention mechanism.

研究の動機と目的

• ビデオから心拍数 (HR) と呼吸率 (BR) を復元するエンドツーエンドの深層学習システムを開発する。
• 非均一な照明に適した皮膚反射モデルに基づく新しい運動表現を提案する。
• 運動と照明の変化の中で生理信号を頑健に推定するための外観ガイド付き注意機構を導入する。
• 注意マップを介して生理信号の時空分布を可視化できるようにする。

提案手法

• 皮膚反射モデルに由来する正規化フレーム差運動表現を導入し、生理的運動を捉える。
• フレームをダウンサンプルし、時間微分正規化を適用して静止成分およびカメラ/照度の変動を除去する。
• モーション表現を生理信号の微分 p'(t) にマッピングするためにVGG風のCNNを訓練し、MSE損失を用いる。その後、HR/BRのためにバンドパスフィルタリングと支配周波数抽出を行う。
• 外観モデルを組み込み、より強い信号を持つ皮膚領域に焦点を当ててモーション推定器をガイドするソフトアテンションマスクを学習する。1x1畳み込みカーネルとシグモイドベースの正規化を用いる（複数のレイヤに適用可能）。
• HR/BR推定の周波数誤差が最も小さいモデルを選択するために、訓練チェックポイント間でアンサンブル選択を用いる。
• 異なる頭部運動と照明条件の下で、RGBおよび赤外データセットに対していくつかの最先端手法と比較評価を行う。

実験結果

リサーチクエスチョン

• RQ1 多様な照明下で皮膚反射から導かれた運動表現から、エンドツーエンドのCNNが頑健なHRおよびBR信号を直接学習できるか？
• RQ2 外観ガイド付き注意は、モーションだけのモデルよりも運動推定と生理信号の復元を改善するか？
• RQ3 提案手法は、異なるデバイス、照明、頭部運動を含むデータセットやシナリオ全体にどれくらい一般化するか？
• RQ4 頭部運動がHR/BR推定に与える影響はどの程度で、モデルは大きな運動でも性能を維持できるか？

主な発見

• CAN（convolutional attention network）は、複数のRGBおよび赤外データセットにおいて、HRとBRの推定の両方で最先端手法を上回り、特に大きな頭部運動の下で優れている。
• 提案された正規化フレーム差運動表現を皮膚反射モデリングと組み合わせることで、異種照明下でも頑健な生理信号の復元を実現する。
• 外観ガイド付き注意機構はROIの局在を改善し、モーションのみモデルと比較して測定精度を向上させる。
• 注意の可視化は、ビデオフレームにおける生理信号の時空分布（例：HR関連領域）を明らかにする。
• 被験者依存の結果は高い性能を示し、CANは先行法よりMAEとSNRを改善し、特に高運動タスクで顕著。被験者非依存の結果でもCANの利点が示されるが、一般に完全に被験者依存の設定より絶対値の性能は低い。
• 訓練チェックポイント間でのアンサンブル選択は、HR/BR推定の周波数領域の誤差をさらに低減する。