[논문 리뷰] SCAMPS: Synthetics for Camera Measurement of Physiological Signals

Daniel McDuff, Miah Wander외 5명|arXiv (Cornell University)|2022. 06. 08.

Non-Invasive Vital Sign Monitoring인용 수 19

한 줄 요약

SCAMPS는 심장 및 호흡 파형, 얼굴 운동 단위, 머리 자세를 정밀하게 정렬한 2,800개의 고해상도 영상 시퀀스로 구성된 합성 데이터셋을 소개한다. RGB 프레임과 세그멘테이션 맵과 함께 제공된다. 이 데이터셋으로만 훈련된 모델은 실제 데이터셋에서 일반화된 성능를 보이며, 카메라 기반 생리신호 측정에서 시뮬레이션에서 실제로의 전이 가능성에 대한 실현 가능성을 입증한다.

ABSTRACT

The use of cameras and computational algorithms for noninvasive, low-cost and scalable measurement of physiological (e.g., cardiac and pulmonary) vital signs is very attractive. However, diverse data representing a range of environments, body motions, illumination conditions and physiological states is laborious, time consuming and expensive to obtain. Synthetic data have proven a valuable tool in several areas of machine learning, yet are not widely available for camera measurement of physiological states. Synthetic data offer "perfect" labels (e.g., without noise and with precise synchronization), labels that may not be possible to obtain otherwise (e.g., precise pixel level segmentation maps) and provide a high degree of control over variation and diversity in the dataset. We present SCAMPS, a dataset of synthetics containing 2,800 videos (1.68M frames) with aligned cardiac and respiratory signals and facial action intensities. The RGB frames are provided alongside segmentation maps. We provide precise descriptive statistics about the underlying waveforms, including inter-beat interval, heart rate variability, and pulse arrival time. Finally, we present baseline results training on these synthetic data and testing on real-world datasets to illustrate generalizability.

연구 동기 및 목표

• 카메라 기반 생리신호 측정을 위한 실세계 데이터셋의 부족함과 편향 문제를 해결하기 위해 다양한 제어 가능한 합성 데이터를 생성한다.
• 실제 데이터셋의 한계, 즉 높은 비용, 노동 집약성, 피험자 외형, 조명, 운동의 다양성 부족 문제를 해결한다.
• 완전히 레이블링된, 제어 가능하고 확장 가능한 합성 데이터셋을 제공하여 시각 기반 생리신호 측정 모델의 훈련 및 평가를 지원한다.
• 실세계 데이터 수집의 비용과 개인정보 감수성 문제를 줄이기 위해 합성 데이터에서 실제 데이터로의 일반화 연구를 가능하게 한다.
• 피부 톤, 환경, 생리적 파rameter의 제어 가능한 변동을 통해 공정하고 더 강건한 모델 개발을 지원한다.

제안 방법

• 피험자 외형, 조명, 운동에 대한 제어 가능한 변동을 가진 물리 기반 렌더링 파이프라인을 사용하여 2,800개의 합성 영상 시퀀스를 생성한다.
• 프레임 수준 정밀도로 정렬된 동기화된 생리신호 파형을 합성한다. 여기에는 광plethysmogram(PPG), 심electrocardiogram(ECG), 호흡 및 간격 간격이 포함된다.
• 3D 모형화된 모델과 애니메이션 릴레이션을 사용하여 얼굴 운동 단위, 깜빡임, 머리 자세를 시간적으로 정렬된 레이블로 통합한다.
• 모든 영상 프레임에 대해 고해상도 RGB 프레임과 해당하는 세그멘테이션 맵을 렌더링하여 조밀한 감독을 지원한다.
• 파rameterized 모델을 사용하여 피부 톤, 조명, 환경적 맥락의 다양성을 데이터셋 전반에 걸쳐 제어한다.
• 기본 모델을 SCAMPS 데이터셋 전용으로 훈련하고, UBFC 및 MMSE-HR와 같은 실제 벤치마크에서 일반화 성능을 평가하여 시뮬레이션에서 실제로의 전이 성능을 평가한다.

실험 결과

연구 질문

• RQ1 정밀하고 노이즈 없는 생리신호 애너테이션을 가진 합성 데이터는 카메라 기반 생리신호 측정 모델의 효과적인 훈련을 가능하게 하는가?
• RQ2 합성 데이터로만 훈련된 모델이 실세계의 제약 없는 영상 데이터로 얼마나 잘 일반화되는가?
• RQ3 합성 데이터에서 외형, 조명, 생리적 파rameter의 제어 가능한 변동이 모델의 강건성과 공정성에 어떤 영향을 미치는가?
• RQ4 UBFC 및 MMSE-HR와 같은 실세계 데이터셋에서 SCAMPS로 훈련된 모델의 성능는 어떠한가?
• RQ5 합성 데이터는 피부 톤, 운동, 환경 다양성과 관련된 실세계 데이터셋의 편향을 완화할 수 있는가?

주요 결과

• SCAMPS 합성 데이터셋 전용으로 훈련된 모델은 UBFC 데이터셋에서 심박수 추정에 평균 절대 오차(MAE) 5.42bpm, MMSE-HR 데이터셋에서는 4.59bpm를 기록했다.
• 심박수 추정에서 피어슨 상관계수(ρ)는 UBFC에서 0.72, MMSE-HR에서 0.81를 기록하여 참값과 강한 선형 일치를 보였다.
• SCAMPS 데이터셋으로 훈련된 기본 모델은 일부 지도 기반 방법보다 특정 지표에서 성능이 뛰어나, 합성 데이터의 강건한 모델 훈련 잠재력이 있음을 입증했다.
• 결과는 합성 데이터에서 실제 데이터로의 일반화가 가능하다는 것을 확인했지만, 최신의 비지도 학습 방법 수준에는 못 미친다.
• PPG, ECG, 호흡 파형, 얼굴 운동 단위와 같은 정밀한 프레임 수준 애너테이션의 포함은 모델 훈련을 위한 고해상도 감독을 가능하게 한다.
• 이 데이터셋은 피부 톤, 조명, 운동 조건의 다양성을 제어하여 모델 행동 평가가 가능하게 하여 공정성 및 강건성 연구를 지원한다.