[論文レビュー] Assessment of Deep Learning-based Heart Rate Estimation using Remote Photoplethysmography under Different Illuminations

Ze Yang, Haofei Wang+1 more|arXiv (Cornell University)|Jul 28, 2021

Non-Invasive Vital Sign Monitoring被引用数 6

ひとこと要約

本稿は、35名の被験者を対象に低照度、中照度、高照度の条件下で撮影した新しい公開データセット BH-rPPG を用いて、照明条件の変動下における心拍数推定のためのディーブラーニングベースのリモート光体積脈波計測（rPPG）の評価を行っている。照明条件の変動下では、従来の手法（例：CHROM）がディーブラーニングモデル（例：Physnet）を上回る性能を示したが、明るさのデータ拡張によりディーブラーニングの頑健性が著しく向上した。これは、rPPGシステムにおいて照明の変動を明示的にモデル化する必要があることを示唆している。

ABSTRACT

Remote photoplethysmography (rPPG) monitors heart rate without requiring physical contact, which allows for a wide variety of applications. Deep learning-based rPPG have demonstrated superior performance over the traditional approaches in controlled context. However, the lighting situation in indoor space is typically complex, with uneven light distribution and frequent variations in illumination. It lacks a fair comparison of different methods under different illuminations using the same dataset. In this paper, we present a public dataset, namely the BH-rPPG dataset, which contains data from thirty five subjects under three illuminations: low, medium, and high illumination. We also provide the ground truth heart rate measured by an oximeter. We evaluate the performance of three deep learning-based methods (Deepphys, rPPGNet, and Physnet) to that of four traditional methods (CHROM, GREEN, ICA, and POS) using two public datasets: the UBFC-rPPG dataset and the BH-rPPG dataset. The experimental results demonstrate that traditional methods are generally more resistant to fluctuating illuminations. We found that the Physnet achieves lowest mean absolute error (MAE) among deep learning-based method under medium illumination, whereas the CHROM achieves 1.04 beats per minute (BPM), outperforming the Physnet by 80$\%$. Additionally, we investigate potential methods for improving performance of deep learning-based methods. We find that brightness augmentation make model more robust to variation illumination. These findings suggest that while developing deep learning-based heart rate estimation algorithms, illumination variation should be taken into account. This work serves as a benchmark for rPPG performance evaluation and it opens a pathway for future investigation into deep learning-based rPPG under illumination variations.

研究の動機と目的

• 照明条件の変動下におけるrPPG手法の公平なベンチマークの欠如に対処すること。
• 35名の被験者を対象に、照明条件を制御した新しい公開データセット BH-rPPG を開発・公開すること。
• 低照度、中照度、高照度の条件下で、ディーブラーニングベースのrPPG手法（Deepphys, rPPGNet, Physnet）と従来手法（CHROM, GREEN, ICA, POS）の性能を比較すること。
• 特に明るさのデータ拡張を含むデータ拡張技術が、照明変動に対するディーブラーニングモデルの頑健性を向上させるかを調査すること。

提案手法

• 被験者35名を対象に、低照度、中照度、高照度の3段階の照明レベルで撮影した新しい公開データセット BH-rPPG を収集。各条件下でパルスオキシメーターによる真値心拍数を取得。
• UBFC-rPPG データセットおよび BH-rPPG データセットを用いて、3つのディーブラーニングモデル（Deepphys, rPPGNet, Physnet）を、照明条件を制御した環境下で評価。
• 同じ評価プロトコルを用いて、これらのモデルと4つの従来のrPPG手法（CHROM, GREEN, ICA, POS）を比較。
• トレーニング段階で明るさのデータ拡張を適用し、照明変動に対するモデルの頑健性への影響を評価。
• 心拍数推定の正確性を定量化するために、主に平均絶対誤差（MAE）を指標として使用。
• 画像強調技術（例：コントラスト調整）がrPPG性能に与える影響を調査したが、時間的整合性およびピクセル分布の破壊のため、性能が低下する傾向にあることが判明。

実験結果

リサーチクエスチョン

• RQ1 ディーブラーニングベースのrPPG手法は、照明条件の変動下で従来手法に比べてどのように性能を発揮するか？
• RQ2 明るさのデータ拡張は、rPPGに基づく心拍数推定における照明変動へのディーブラーニングモデルの頑健性を向上させることができるか？
• RQ3 従来手法が照明変動下でディーブラーニングモデルを上回る理由は何か？（特に、制御された環境下ではディーブラーニングモデルが優れた性能を示すにもかかわらず）
• RQ4 画像強調技術は、照明条件の変動下でrPPGの正確性をどの程度向上させるか？
• RQ5 トレーニングデータの分布の選択が、現実の照明変動下におけるモデルの一般化性能に与える影響はどの程度か？

主な発見

• 従来手法、特に CHROM は中照度条件下で平均絶対誤差（MAE）1.04 beats per minute（BPM）を達成し、最良のディーブラーニングモデル（Physnet）を80%も上回った。
• 低照度および高照度条件下では、ディーブラーニングモデルの性能が著しく低下したが、従来手法は照明条件の変動に対しても一貫した性能を示した。
• 明るさのデータ拡張により、ディーブラーニングモデルの照明変動に対する頑健性が顕著に向上し、明るさの変化に対して不変性が向上した。
• コントラスト調整や明るさ調整などの画像強調技術は、時間的整合性および動画シーケンス内のピクセル分布の破壊のため、性能向上に寄与せず、むしろ精度を低下させる傾向にあった。
• BH-rPPG データセットは、現実の照明変動下でのrPPGモデル評価のベンチマークとして機能し、従来手法とディーブラーニングベース手法との間で、頑健性の顕著な格差を明らかにした。
• 本研究は、画像強調よりも、特に明るさのデータ拡張が、rPPGシステムにおける照明変動への頑健性向上に効果的であることを示した。