[論文レビュー] Remote Heart Rate Measurement from Highly Compressed Facial Videos: an End-to-end Deep Learning Solution with Video Enhancement

Zitong Yu, Wei Peng+3 more|arXiv (Cornell University)|Jul 27, 2019

Non-Invasive Vital Sign Monitoring参考文献 37被引用数 26

ひとこと要約

本論文は、高圧縮面部動画からのリモート光容積脈波計測（rPPG）を目的としたエンドツーエンドのディープラーニングフレームワーク、STVEN-rPPGNetを提案する。STVEN（空間的・時間的動画強化ネットワーク）を用いて圧縮によるrPPG情報の損失を回復させ、注意メカニズムを備えたrPPGNetにより正確な心拍数および心拍変動量の測定を実現し、高品質な動画リファレンスがなくても圧縮動画において最先端の性能を達成した。

ABSTRACT

Remote photoplethysmography (rPPG), which aims at measuring heart activities without any contact, has great potential in many applications (e.g., remote healthcare). Existing rPPG approaches rely on analyzing very fine details of facial videos, which are prone to be affected by video compression. Here we propose a two-stage, end-to-end method using hidden rPPG information enhancement and attention networks, which is the first attempt to counter video compression loss and recover rPPG signals from highly compressed videos. The method includes two parts: 1) a Spatio-Temporal Video Enhancement Network (STVEN) for video enhancement, and 2) an rPPG network (rPPGNet) for rPPG signal recovery. The rPPGNet can work on its own for robust rPPG measurement, and the STVEN network can be added and jointly trained to further boost the performance especially on highly compressed videos. Comprehensive experiments are performed on two benchmark datasets to show that, 1) the proposed method not only achieves superior performance on compressed videos with high-quality videos pair, 2) it also generalizes well on novel data with only compressed videos available, which implies the promising potential for real world applications.

研究の動機と目的

• 高圧縮面部動画におけるrPPG信号品質の低下という課題に対処すること。
• 元の高品質な動画リファレンスが不要な状態で、圧縮動画から直接rPPG信号を回復する手法を開発すること。
• さまざまな動画コーデックおよび圧縮レベルにわたるrPPG測定のロバスト性と一般化性能を向上させること。
• ディープラーニングを用いて圧縮動画から正確な心拍数（HR）および心拍変動量（HRV）推定を実現すること。

提案手法

• 本手法は2段階構成である：まずSTVEN（空間的・時間的動画強化ネットワーク）による動画強化を行い、その後rPPGNetによるrPPG信号回復を実行する。
• STVENは、圧縮過程で失われたrPPG関連の詳細を回復するための細粒度学習を備えた動画対動画変換ジェネレータである。
• rPPGNetは皮膚色に基づく注意メカニズムと領域分割制約を採用し、生理学的に関連する顔面領域に注目する。
• 動画強化とrPPG回復の2つのタスクを統合的に最適化することで、エンドツーエンドの学習を実現する。
• STVENは、ペアで提供される高品質オリジナル動画を用いて学習されるが、rPPGNetは高品質動画で事前学習され、その後統合的に微調整される。
• モデルは2段階のカスケード構造を採用：STVENが圧縮入力を強化し、rPPGNetが強化後の出力を処理して信号を回復する。

実験結果

リサーチクエスチョン

• RQ1 従来の手法が失敗するような高圧縮面部動画から、rPPG信号を効果的に回復できるか？
• RQ2 専用の動画強化ネットワーク（STVEN）が、圧縮動画におけるrPPG性能を向上させるか？
• RQ3 提示されたエンドツーエンドシステムは、元の高品質動画が入手不可な状態でも、未観測のコーデックおよび圧縮レベルに一般化できるか？
• RQ4 rPPGNetに組み込まれた注意メカニズムは、均一なピクセル重み付けと比較して、信号回復をどのように改善するか？
• RQ5 STVENとrPPGNetを同時に学習させることによる影響は、別々に学習させる場合と比較してどう異なるか？

主な発見

• MAHNOB-HCIデータセットにおいて、STVEN+rPPGNetシステムは心拍数標準偏差（HR SD）を5.57 bpmまで低減し、すべての先行手法を上回った。
• 平均絶対誤差（MAE）は4.03 bpm、平均二乗誤差（RMSE）は5.93 bpmにまで低下し、相関係数（R）は0.88を記録した。
• STVENは高圧縮動画におけるrPPGNetの性能を顕著に向上させたが、標準的なノイズ除去ネットワークDnCNNは性能を低下させた。
• 未学習のコーデックにも良好に一般化された：x264で学習したモデルは、MPEG4およびx265圧縮動画に対しても高い性能を示した。
• 可視化により、rPPGNetの注意マップが額や頬といった生理学的に関連する領域に集中していることが確認され、先行研究と整合的であった。
• 強化済み動画では、滑らかなrPPG信号とPSNRの変動低減が観察され、信号の一貫性およびロバスト性の向上が示された。