[論文レビュー] PulseGAN: Learning to generate realistic pulse waveforms in remote photoplethysmography

Rencheng Song, Huan Chen+4 more|arXiv (Cornell University)|Jun 4, 2020

Non-Invasive Vital Sign Monitoring参考文献 26被引用数 5

ひとこと要約

PulseGANは、時間領域および周波数領域の損失と敵対的訓練を併用してCHROM由来の信号をノイズ除去することで、高精度な遠隔脈波計測（rPPG）のパルス波形を生成する条件付き生成対抗ネットワーク（cGAN）フレームワークを提案する。クロスデータベーステストにおいて、DAEと比較して心拍変動（HRV）指標の平均絶対誤差（MAE）がAVNNで20.85%、SDNNで20.28%低減された。

ABSTRACT

Remote photoplethysmography (rPPG) is a non-contact technique for measuring cardiac signals from facial videos. High-quality rPPG pulse signals are urgently demanded in many fields, such as health monitoring and emotion recognition. However, most of the existing rPPG methods can only be used to get average heart rate (HR) values due to the limitation of inaccurate pulse signals. In this paper, a new framework based on generative adversarial network, called PulseGAN, is introduced to generate realistic rPPG pulse signals through denoising the chrominance signals. Considering that the cardiac signal is quasi-periodic and has apparent time-frequency characteristics, the error losses defined in time and spectrum domains are both employed with the adversarial loss to enforce the model generating accurate pulse waveforms as its reference. The proposed framework is tested on the public UBFC-RPPG database in both within-database and cross-database configurations. The results show that the PulseGAN framework can effectively improve the waveform quality, thereby enhancing the accuracy of HR, the heart rate variability (HRV) and the interbeat interval (IBI). The proposed method achieves the best performance compared to the denoising autoencoder (DAE) and CHROM, with the mean absolute error of AVNN (the average of all normal-to-normal intervals) improving 20.85% and 41.19%, and the mean absolute error of SDNN (the standard deviation of all NN intervals) improving 20.28% and 37.53%, respectively, in the cross-database test. This framework can be easily extended to other existing deep learning based rPPG methods, which is expected to expand the application scope of rPPG techniques.

研究の動機と目的

• 高精度な心拍変動特徴抽出に不可欠な高品質なパルス波形を生成できるrPPG手法の限界を是正すること。
• AVNNやSDNNといった、正確な波形再構成を要する心拍変動（HRV）指標の精度を向上させること。
• 平均心拍数推定をはるかに超えるrPPG信号品質を向上させる深層学習フレームワークを開発すること。
• 既存の深層学習ベースのrPPG手法と統合可能であり、波形の精錬によって性能を向上させること。

提案手法

• 条件付きGAN（cGAN）を採用し、生成器は粗いCHROM由来のrPPG信号を入力とし、洗練されたパルス波形を出力する。
• 識別器は、パルスオキシメーターからの真値PPG信号と生成信号を比較し、入力信号を条件因子として用いる。
• 敵対的損失に加え、時間領域における波形誤差損失と周波数領域におけるスペクトル誤差損失を組み合わせ、時間的および周波数的特性の忠実性を強化する。
• モデルはUBFC-RPPGデータベース上でエンドツーエンドに訓練され、PUREおよびBSIPL-RPPGのデータを用いたクロスデータベース一般化性能の評価が行われた。
• フレームワークはモジュール型に設計されており、他の深層学習ベースのrPPG手法と統合可能で、性能向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、従来のノイズ除去法やベースラインrPPG手法と比較して、より現実的なrPPGパルス波形を生成できるか？
• RQ2 時間領域および周波数領域の損失を組み込むことで、波形の忠実性とHRV指標の正確性が向上するか？
• RQ3 クロスデータベーステストにおいて、PulseGANフレームワークはどの程度異なるデータベースに一般化できるか？
• RQ4 提案されたフレームワークは、既存の深層学習ベースのrPPG手法と効果的に統合可能で、出力品質の向上が見込めるか？

主な発見

• クロスデータベーステストにおいて、PulseGANはDAEと比較してAVNNの平均絶対誤差（MAE）を20.85%低減し、CHROMと比較して41.19%低減した。
• クロスデータベース環境下で、SDNNのMAEはDAEと比較して20.28%、CHROMと比較して37.53%改善された。
• IBIベクトルのMAEは、DAEと比較してPulseGANが顕著に低減され、誤差分布が真値に近づいた。
• Bland-Altmanプロットにより、PulseGANのHR予測がDAEやCHROMと比較して、基準値との一貫性が優れていることが確認された。
• 可視化比較では、PulseGANが生成した波形およびIBI系列が、DAEやCHROMの結果と比較して真値に近いことが示された。
• HR推定において、PulseGANはUBFC-RPPGデータセットにおけるクロスデータベース評価で、HRのMAEが2.09 bpm、RMSEが4.42 bpmと最高の性能を達成した。