[논문 리뷰] rPPG-Toolbox: Deep Remote PPG Toolbox

Xin Liu, Girish Narayanswamy외 8명|arXiv (Cornell University)|2022. 10. 03.

Non-Invasive Vital Sign Monitoring인용 수 21

한 줄 요약

카메라 기반 활력징 추정의 표준화 및 재현을 위해 여섯 가지 비지도 모델과 여섯 가지 지도 모델, 데이터셋 로더, 전처리, 학습, 평가 및 벤치마킹을 구현하는 포괄적인 오픈 소스 도구상자.

ABSTRACT

Camera-based physiological measurement is a fast growing field of computer vision. Remote photoplethysmography (rPPG) utilizes imaging devices (e.g., cameras) to measure the peripheral blood volume pulse (BVP) via photoplethysmography, and enables cardiac measurement via webcams and smartphones. However, the task is non-trivial with important pre-processing, modeling, and post-processing steps required to obtain state-of-the-art results. Replication of results and benchmarking of new models is critical for scientific progress; however, as with many other applications of deep learning, reliable codebases are not easy to find or use. We present a comprehensive toolbox, rPPG-Toolbox, that contains unsupervised and supervised rPPG models with support for public benchmark datasets, data augmentation, and systematic evaluation: \url{https://github.com/ubicomplab/rPPG-Toolbox}

연구 동기 및 목표

• 카메라 기반 생리 신호 측정(rPPG)의 엔드-투-엔드 재현 가능한 개발 및 벤치마킹을 가능하게 한다.
• 공개 데이터세트 지원, 전처리, 모델 구현 및 평가 파이프라인을 제공한다.
• rPPG 연구에서 데이터 처리, 라벨, 평가 지표를 표준화하여 재현성의 간극을 해소한다.
• 약지도 학습, 데이터 증강 및 다중 작업 확장 등을 포함한 고급 학습 워크플로우를 촉진한다.

제안 방법

• 원시(raw), Standardized, DiffNormalized 등의 표준화된 전처리를 신경망 입력으로 사용하여 여섯 개의 공개 데이터세트를 지원한다.
• 여섯 가지 비지도 rPPG 방법(Green, ICA, CHROM, POS, PBV, LGI)의 구현.
• 여섯 가지 지도 신경망 아키텍처의 구현(예: DeepPhys, PhysNet, PhysFormer, TS-CAN, EfficientPhys-C, BigSmall 확장).
• PyTorch를 활용한 구성 주도형 학습/검증/테스트, 1cycle 학습률 정책, 표준 손실 함수.
• 2차 계 Butterworth 필터링, FFT 또는 피크 검출을 통한 심박수 추출 및 다중 HR 지표를 포함한 후처리.
• 교차 데이터셋 학습 및 재현성 중심 지표를 포함한 데이터세트 간 벤치마킹.

실험 결과

연구 질문

• RQ1 엔드-투-엔드의 오픈 소스 도구상자가 여러 공개 데이터세트에 걸쳐 재현 가능한 벤치마크를 rPPG에 대해 제공할 수 있는가?
• RQ2 표준화된 전처리 및 평가 하에서 비지도 벤치마크 방법이 지도 신경망 모델과 어떻게 비교되는가?
• RQ3 데이터 전처리 선택 및 후처리 매개변수가 심박수 추정 정확도에 미치는 영향은 무엇인가?
• RQ4 약지도 학습 및 모션 증강 데이터가 rPPG 모델의 일반화에 기여할 수 있는가?
• RQ5 다중 작업 훈련(예: 호흡 및 얼굴 동작과 함께하는 PPG)을 rPPG 파이프라인에 어떻게 통합할 수 있는가?

주요 결과

• 도구상자는 여섯 개 데이터세트, 여섯 가지 비지도 방법, 여섯 가지 신경모델 간의 엔드-투-엔드 재현 가능한 실험을 가능하게 한다.
• 데이터셋 간 학습 및 표준 평가가 비지도 및 지도 접근 방식 모두의 성능 패턴을 드러낸다.
• 약지도 의사 레이블(POS-derived)은 특정 데이터세트에서 경쟁력 있는 결과를 낼 수 있다.
• 모션 증강 학습은 여러 구성에서 대상 데이터세트에 대한 강건성을 향상시킨다.
• 전처리 및 후처리 선택은 심박수 추정 지표(MAE, MAPE, ρ)에 상당한 영향을 준다.
• 도구상자는 다중 작업 확장(PPG, 호흡, 얼굴 동작)을 지원하며 측정 가능한 성능 트레이드오프가 있다.