[논문 리뷰] PulseGAN: Learning to generate realistic pulse waveforms in remote photoplethysmography

Rencheng Song, Huan Chen외 4명|arXiv (Cornell University)|2020. 06. 04.

Non-Invasive Vital Sign Monitoring참고 문헌 26인용 수 5

한 줄 요약

PulseGAN은 시간 도메인 및 스펙트럼 도메인 손실과 함께 적대적 훈련을 사용하여 CHROM 유도 신호를 노이즈 제거하는 조건부 생성 적대 신경망(cGAN) 프레임워크를 제안한다. 이는 고해상도 원격 광량측정법(rPPG) 맥박 파형을 생성하며, 교차 데이터베이스 테스트에서 DAE 대비 AVNN과 SDNN의 평균 절대 오차를 각각 20.85%와 20.28% 감소시켜 심박수 변동성(HRV) 지표를 크게 향상시킨다.

ABSTRACT

Remote photoplethysmography (rPPG) is a non-contact technique for measuring cardiac signals from facial videos. High-quality rPPG pulse signals are urgently demanded in many fields, such as health monitoring and emotion recognition. However, most of the existing rPPG methods can only be used to get average heart rate (HR) values due to the limitation of inaccurate pulse signals. In this paper, a new framework based on generative adversarial network, called PulseGAN, is introduced to generate realistic rPPG pulse signals through denoising the chrominance signals. Considering that the cardiac signal is quasi-periodic and has apparent time-frequency characteristics, the error losses defined in time and spectrum domains are both employed with the adversarial loss to enforce the model generating accurate pulse waveforms as its reference. The proposed framework is tested on the public UBFC-RPPG database in both within-database and cross-database configurations. The results show that the PulseGAN framework can effectively improve the waveform quality, thereby enhancing the accuracy of HR, the heart rate variability (HRV) and the interbeat interval (IBI). The proposed method achieves the best performance compared to the denoising autoencoder (DAE) and CHROM, with the mean absolute error of AVNN (the average of all normal-to-normal intervals) improving 20.85% and 41.19%, and the mean absolute error of SDNN (the standard deviation of all NN intervals) improving 20.28% and 37.53%, respectively, in the cross-database test. This framework can be easily extended to other existing deep learning based rPPG methods, which is expected to expand the application scope of rPPG techniques.

연구 동기 및 목표

• 고도로 정교한 심장 기능 특징 추출에 필수적인 고품질 맥박 파형을 생성하는 데에 한계가 있는 기존 rPPG 방법의 문제를 해결하기 위해.
• 정확한 파형 재구성 필요성이 있는 심박수 변동성(HRV) 지표인 AVNN 및 SDNN의 정확도를 향상시키기 위해.
• 평균 심박수 추정을 넘어서 rPPG 신호 품질을 향상시키는 딥 러닝 프레임워크를 개발하기 위해.
• 기존 딥 러닝 기반 rPPG 방법과의 통합을 가능하게 하여 파형 정제를 통해 성능 향상을 이끌기 위해.

제안 방법

• 조건부 GAN(cGAN)을 사용하며, 생성자는 거친 CHROM 유도 rPPG 신호를 입력으로 받아 정제된 맥박 파형을 생성한다.
• 판별자는 맥박 산소측정기에서의 참값 PPG 신호와 비교하여 생성된 신호를 평가하며, 입력 신호를 조건 요소로 사용한다.
• 적대적 손실에 시간 도메인 파형 오차 손실과 주파수 도메인 스펙트럼 오차 손실을 결합하여 시간적 및 주파수 특성 양면에서의 신뢰성 확보를 위해 사용한다.
• UBFC-RPPG 데이터베이스에서 엔드 투 엔드로 훈련되며, PURE 및 BSIPL-RPPG 데이터를 사용하여 교차 데이터베이스 일반화 성능을 테스트한다.
• 모듈러 구조로 설계되어 다른 딥 러닝 기반 rPPG 방법과의 통합이 가능하여 성능 향상에 기여하도록 설계되었다.

실험 결과

연구 질문

• RQ1 기존 노이즈 제거 또는 기본 rPPG 방법에 비해 GAN 기반 프레임워크가 더 현실적인 rPPG 맥박 파형을 생성할 수 있는가?
• RQ2 시간 도메인 및 주파수 도메인 손실을 통합함으로써 파형의 신뢰성과 HRV 지표 정확도가 향상되는가?
• RQ3 교차 데이터베이스 테스트에서 PulseGAN 프레임워크의 일반화 능력은 어느 정도인가?
• RQ4 제안된 프레임워크는 기존 딥 러닝 기반 rPPG 방법과 효과적으로 통합되어 출력 품질을 향상시킬 수 있는가?

주요 결과

• 교차 데이터베이스 테스트에서 PulseGAN은 DAE 대비 AVNN의 평균 절대 오차(MAE)를 20.85% 감소시켰고, CHROM 대비 41.19% 감소시켰다.
• 교차 데이터베이스 상황에서 SDNN의 MAE는 DAE 대비 20.28% 향상되었고, CHROM 대비 37.53% 향상되었다.
• IBI 벡터의 MAE는 PulseGAN이 DAE 대비 유의미하게 감소시켰으며, 오차 분포가 참값에 더 가까워졌다.
• Bland-Altman 플롯은 PulseGAN의 HR 예측 결과가 DAE 및 CHROM보다 参고 값과 더 일관된 경향을 보였음을 확인했다.
• 시각적 비교 결과, PulseGAN이 생성한 파형과 IBI 시퀀스는 DAE 및 CHROM의 결과보다 참값에 더 가까웠다.
• HR 추정에서 최고의 성능을 기록했으며, 교차 데이터베이스 평가에서 UBFC-RPPG 데이터셋에서 HR MAE는 2.09 bpm, RMSE는 4.42 bpm을 기록했다.