[논문 리뷰] Advancing Non-Contact Vital Sign Measurement using Synthetic Avatars

Daniel McDuff, Javier Hernandez외 3명|arXiv (Cornell University)|2020. 10. 24.

Non-Invasive Vital Sign Monitoring참고 문헌 53인용 수 16

한 줄 요약

이 논문은 다양한 조건—다양한 피부 톤, 움직임, 조도 조건—에서 실제적인 얼굴 혈류 변화를 시뮬레이션하는 고해상도 합성 아바타를 사용하여 실존 영상 데이터를 보완함으로써 비접촉 생체 신호 측정 모델을 훈련시키는 방법을 제안한다. 주요 결과로는 합성 데이터와 실존 데이터를 조합할 경우, 특히 도메인 간 및 외형 간 설정에서 모델 성능이 크게 향상되며, 심박수 추정 오차가 감소하고, 표현이 부족한 피부 유형에 대해 더 강건한 성능을 보인다.

ABSTRACT

Non-contact physiological measurement has the potential to provide low-cost, non-invasive health monitoring. However, machine vision approaches are often limited by the availability and diversity of annotated video datasets resulting in poor generalization to complex real-life conditions. To address these challenges, this work proposes the use of synthetic avatars that display facial blood flow changes and allow for systematic generation of samples under a wide variety of conditions. Our results show that training on both simulated and real video data can lead to performance gains under challenging conditions. We show state-of-the-art performance on three large benchmark datasets and improved robustness to skin type and motion.

연구 동기 및 목표

• 비접촉 생리 측정을 위한 실존 영상 데이터셋에서의 자료 부족과 다양성 부족 문제를 해결하기 위해.
• 운동, 동적인 조도, 표현이 부족한 피부 유형 등 도전적인 실생활 조건에서의 모델 일반화 능력을 향상시키기 위해.
• 합성 데이터가 영상 광학 박동량측정(iPPG) 모델의 성능 향상과 편향 감소에 기여하는지 조사하기 위해.
• 실제 신원 정보 없이 다양한 얼굴 영상 데이터를 생성할 수 있는 확장 가능하고 파rameterized된 파이프라인을 개발하기 위해.

제안 방법

• 물리 기반의 빛 전송 모델이 인간 피부 내에서의 빛의 표면 아래 흡수 및 산산발화를 시뮬레이션하여 실제적인 얼굴 혈류 변화를 생성한다.
• 합성 아바타는 피부 톤, 얼굴 표정, 머리 운동(이동 및 회전), 조도, 배경 조건 등에 대해 제어 가능한 변형을 가진 채로 渲색된다.
• 합성 데이터는 실존 영상 데이터와 결합되어 심층 학습 모델(예: CAN)을 훈련시켜 심박수 및 BVP 신호 추정을 수행한다.
• 훈련 과정에서 실존 데이터와 합성 데이터를 모두 활용하여 다양한 테스트 조건에서의 강건성과 일반화 능력을 향상시킨다.
• 정적 및 동적 운동 조건에서의 벤치마크 데이터셋(AFRL, MMSE-HR, DAVIS)을 대상으로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 고해상도 합성 아바타는 iPPG 모델 훈련을 위해 실제적인 얼굴 혈류 변화를 효과적으로 시뮬레이션할 수 있는가?
• RQ2 합성 데이터로 훈련할 경우 운동 및 변동 조도와 같은 실생활 조건으로의 모델 일반화 능력이 향상되는가?
• RQ3 합성 데이터는 iPPG 모델에서 표현이 부족한 피부 유형에 대한 성능 격차를 완화시킬 수 있는가?
• RQ4 합성 데이터와 실존 데이터를 조합한 경우, 실존 데이터 또는 합성 데이터만으로 훈련한 경우에 비해 모델 성능과 강건성 측면에서 어떤가?

주요 결과

• AFRL 데이터셋에서 실존 데이터만으로 훈련한 경우에 비해 합성 및 실존 데이터를 함께 훈련한 경우 심박수 추정의 평균 절대 오차(MAE)가 20.6% 감소하였다.
• MMSE-HR 데이터셋에서 가장 밝은 피부 유형(Fitzpatrick II)과 가장 어두운 피부 유형(VI)의 경우, 실존 데이터만으로 훈련한 경우에 비해 합성 데이터를 사용할 경우 MAE가 각각 63.7%와 74.9% 감소하였다.
• 합성 데이터를 사용할 경우 복구된 BVP 신호의 신호 대 잡음비(SNR)가 1.38 dB 향상되어 더 고품질의 생리 신호 추출을 의미한다.
• 합성 데이터만으로 훈련한 모델은 실존 데이터만으로 훈련한 모델보다 성능이 떨어졌지만, 두 데이터를 조합한 모델은 세 가지 벤치마크 데이터셋에서 최고 성능을 기록하였다.
• 피부 유형 간 MAE의 표준편차는 실존 데이터만으로 훈련한 경우 3.50에서 합성 및 실존 데이터를 함께 훈련한 경우 1.56으로 감소하여 표현이 부족한 집단 간 성능 변동성이 감소함을 나타낸다.