[논문 리뷰] Assessment of Deep Learning-based Heart Rate Estimation using Remote Photoplethysmography under Different Illuminations

Ze Yang, Haofei Wang외 1명|arXiv (Cornell University)|2021. 07. 28.

Non-Invasive Vital Sign Monitoring인용 수 6

한 줄 요약

이 논문은 새로운 공개 데이터셋 BH-rPPG를 사용하여 다양한 조명 조건 하에서 심박수 추정을 위한 딥러닝 기반 원격 광량측정법(rPPG)을 평가한다. 이 데이터셋은 저, 중, 고 조도 조건에서 35명의 참가자를 포함한다. 연구 결과, 기존 방법(예: CHROM)이 조도 변화 조건에서 딥러닝 모델(예: Physnet)보다 성능이 뛰어나지만, 밝기 데이터 증강 기법이 딥러닝 모델의 강인성을 크게 향상시켜 rPPG 시스템에서 조도 변화를 명시적으로 모델링할 필요성을 강조한다.

ABSTRACT

Remote photoplethysmography (rPPG) monitors heart rate without requiring physical contact, which allows for a wide variety of applications. Deep learning-based rPPG have demonstrated superior performance over the traditional approaches in controlled context. However, the lighting situation in indoor space is typically complex, with uneven light distribution and frequent variations in illumination. It lacks a fair comparison of different methods under different illuminations using the same dataset. In this paper, we present a public dataset, namely the BH-rPPG dataset, which contains data from thirty five subjects under three illuminations: low, medium, and high illumination. We also provide the ground truth heart rate measured by an oximeter. We evaluate the performance of three deep learning-based methods (Deepphys, rPPGNet, and Physnet) to that of four traditional methods (CHROM, GREEN, ICA, and POS) using two public datasets: the UBFC-rPPG dataset and the BH-rPPG dataset. The experimental results demonstrate that traditional methods are generally more resistant to fluctuating illuminations. We found that the Physnet achieves lowest mean absolute error (MAE) among deep learning-based method under medium illumination, whereas the CHROM achieves 1.04 beats per minute (BPM), outperforming the Physnet by 80$\%$. Additionally, we investigate potential methods for improving performance of deep learning-based methods. We find that brightness augmentation make model more robust to variation illumination. These findings suggest that while developing deep learning-based heart rate estimation algorithms, illumination variation should be taken into account. This work serves as a benchmark for rPPG performance evaluation and it opens a pathway for future investigation into deep learning-based rPPG under illumination variations.

연구 동기 및 목표

• 다양한 조도 조건 하에서 rPPG 방법에 대한 공정한 벤치마킹 부족 문제를 해결하기 위해.
• 35명의 참가자에게서 조도 변화를 통제한 새로운 공개 데이터셋 BH-rPPG를 개발하고 배포하기 위해.
• 저, 중, 고 조도 조건 하에서 딥러닝 기반 rPPG 방법(Deepphys, rPPGNet, Physnet)과 기존 방법(CHROM, GREEN, ICA, POS)의 성능을 비교하기 위해.
• 특히 밝기 증강을 포함한 데이터 증강 기법이 조도 변화에 대한 딥러닝 모델의 강인성 향상에 미치는 영향을 조사하기 위해.

제안 방법

• 저, 중, 고 조도 수준에서 각각 펄스 옥시메터로 측정된 심박수 기준값을 확보한 35명의 참가자를 대상으로 새로운 공개 데이터셋 BH-rPPG를 수집하였다.
• UBFC-rPPG 및 BH-rPPG 데이터셋을 모두 사용하여 조도 조건을 통제한 환경에서 세 가지 딥러닝 모델(Deepphys, rPPGNet, Physnet)의 성능을 평가하였다.
• 동일한 평가 프로토콜을 사용하여 동일한 데이터셋에서 딥러닝 모델들과 기존 rPPG 방법 네 가지(CHROM, GREEN, ICA, POS)의 성능을 비교하였다.
• 학습 중 밝기 증강을 적용하여 조도 변화에 대한 모델 강인성에 미치는 영향을 평가하였다.
• 다양한 조도 조건 하에서 심박수 추정 정확도를 정량화하기 위해 평균 절대 오차(MAE)를 주요 평가 지표로 사용하였다.
• 대비 조정 등의 영상 강화 기법이 rPPG 성능에 미치는 영향을 평가하기 위해 조사하였지만, 영상 시퀀스의 시간적 일관성과 픽셀 분포를 손상시켜 종종 정확도를 저하시키는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 rPPG 방법은 기존 방법에 비해 다양한 조도 조건에서 어떻게 성능을 발휘하는가?
• RQ2 밝기 증강 기법은 rPPG 기반 심박수 추정에서 조도 변화에 대한 딥러닝 모델의 강인성을 향상시킬 수 있는가?
• RQ3 딥러닝 모델이 통제된 환경에서는 뛰어난 성능를 보이지만, 조도 변화 조건에서는 왜 기존 방법이 더 뛰어난가?
• RQ4 영상 강화 기법이 다양한 조도 조건 하에서 rPPG 정확도에 얼마나 기여하는가?
• RQ5 학습 데이터 분포의 선택이 실제 조도 변화가 존재하는 환경에서 모델 일반화 능력에 어떻게 영향을 미치는가?

주요 결과

• 기존 방법 중 CHROM이 중간 조도 조건에서 평균 절대 오차(MAE) 1.04 비트 매 분(BPM)을 기록하여, 최고의 딥러닝 모델인 Physnet보다 80% 더 우수한 성능를 보였다.
• 저조도 및 고조도 조건에서는 딥러닝 모델의 성능 저하가 심각하게 나타났지만, 기존 방법은 다양한 조도 조건에서도 더 일관된 성능를 유지하였다.
• 밝기 증강 기법이 딥러닝 모델의 조도 변화에 대한 강인성을 크게 향상시켜 조도 강도 변화에 더 강인하게 만들었다.
• 대비 및 밝기 조정 등의 영상 강화 기법은 성능 향상에 기여하지 않았고, 영상 시퀀스의 시간적 일관성과 픽셀 분포를 손상시켜 종종 정확도를 떨어뜨렸다.
• BH-rPPG 데이터셋은 실제 조도 변화 조건 하에서 rPPG 모델 평가를 위한 기준이 되며, 기존 방법과 딥러닝 기반 방법 간의 간극이 명확히 드러났다.
• 본 연구는 영상 강화보다 데이터 증강, 특히 밝기 증강이 rPPG 시스템에서 조도 강인성을 향상시키는 데 더 효과적임을 입증하였다.