[논문 리뷰] Overcoming Difficulty in Obtaining Dark-skinned Subjects for Remote-PPG by Synthetic Augmentation

Yunhao Ba, Zhen Wang외 3명|arXiv (Cornell University)|2021. 06. 10.

Non-Invasive Vital Sign Monitoring참고 문헌 39인용 수 5

한 줄 요약

이 논문은 원격 체외 혈액량맥박측정(rPPG) 데이터셋에서 어두운 피부를 가진 주제가 부족한 문제를 해결하기 위해, 빛이 도는 피부를 가진 얼굴 영상의 색소를 어두운 피부 톤으로 변환하면서 천천히 변화하는 생리적 신호를 유지하는 합성 데이터 증강 방법을 제안한다. 공동 최적화 프레임워크는 어두운 피부를 가진 주제에 대해 평균 절대 오차를 31% 감소시키고, 실재 데이터만으로 학습한 것에 비해 편향 완화를 46% 향상시킨다.

ABSTRACT

Camera-based remote photoplethysmography (rPPG) provides a non-contact way to measure physiological signals (e.g., heart rate) using facial videos. Recent deep learning architectures have improved the accuracy of such physiological measurement significantly, yet they are restricted by the diversity of the annotated videos. The existing datasets MMSE-HR, AFRL, and UBFC-RPPG contain roughly 10%, 0%, and 5% of dark-skinned subjects respectively. The unbalanced training sets result in a poor generalization capability to unseen subjects and lead to unwanted bias toward different demographic groups. In Western academia, it is regrettably difficult in a university setting to collect data on these dark-skinned subjects. Here we show a first attempt to overcome the lack of dark-skinned subjects by synthetic augmentation. A joint optimization framework is utilized to translate real videos from light-skinned subjects to dark skin tones while retaining their pulsatile signals. In the experiment, our method exhibits around 31% reduction in mean absolute error for the dark-skinned group and 46% improvement on bias mitigation for all the groups, as compared with the previous work trained with just real samples.

연구 동기 및 목표

• rPPG 데이터셋에서 어두운 피부를 가진 주제의 부족함을 해결하여 모델의 일반화 능력 향상과 인구 통계적 편향을 줄이기 위해.
• 대학 연구 환경에서 어두운 피부를 가진 개인으로부터 실세계 데이터를 수집하는 데 발생하는 실용적 과제를 해결하기 위해.
• 어두운 피부 톤을 가진 현실적인 얼굴 영상 생성 방법을 개발하여 생리적 천천히 변화하는 신호를 정확히 유지함으로써 rPPG 모델 훈련에 활용하기 위해.
• 특히 부족하게 표현된 인구 집단을 포함해 다양한 인구 집단에서 rPPG 모델의 공정성과 성능을 향상시키기 위해.

제안 방법

• 빛이 도는 피부를 가진 주제의 실재 영상에서 어두운 피부 톤으로의 변환을 위해 공동 최적화 프레임워크를 사용하면서도 천천히 변화하는 혈액량맥박(BVP) 신호를 유지한다.
• 물리 기반 조명 모델을 사용해 피부 반사율을 정의하여 정적 및 동적 구성요소를 분리하며, 천천히 변화하는 신호 p(t)를 포함한다.
• 영상 강도를 C_k(t) = I_0(1 + i(t)) · (u_c·c_0 + u_s·s(t) + u_p·p(t)) + v_n(t)로 표현하여 번역 과정에서 생리적 신호가 유지되도록 보장한다.
• 실제로 얻은 빛이 도는 피부 영상에서 어두운 피부의 외관을 현실적으로 재현하는 GAN 기반 생성기 훈련을 수행하며, 시각적 현실성과 신호 정확성을 동시에 강화하는 손실 함수를 적용한다.
• 얼굴 검출을 위해 MTCNN를 사용하고 얼굴 영역을 80×80 해상도로 자르며, 배치 정규화와 코스인 안내를 사용한 Adam 최적화를 적용한다.
• 훈련 및 평가에 VITAL 및 UBFC-RPPG 데이터셋을 사용하며, 산소포화도 측정기와 심 electrocardiogram(ECG) 모니터로부터 참값 PPG 신호를 확보한다.

실험 결과

연구 질문

• RQ1 실제 데이터가 부족한 상황에서 합성 데이터 증강이 어두운 피부를 가진 주제에 대해 rPPG 성능 향상에 효과적으로 기여하는가?
• RQ2 피부 톤 변환 과정에서 천천히 변화하는 신호를 유지할 경우, 기존의 이미지 변환 기법에 비해 더 나은 생리적 신호 추정이 가능한가?
• RQ3 제안된 방법이 실재 데이터만으로 학습한 것에 비해 rPPG 모델의 인구 통계적 편향을 어느 정도 감소시키는가?
• RQ4 공동 최적화 프레임워크가 도메인 변환 과정에서 시각적 현실성과 생리적 신호 정확성을 동시에 유지할 수 있는가?

주요 결과

• 제안된 방법은 실재 데이터만으로 학습한 모델에 비해 어두운 피부를 가진 주제에 대해 평균 절대 오차(MAE)를 약 31% 감소시킨다.
• 모든 인구 집단에서 편향 완화가 46% 향상되어 성능의 공정성 향상이 뚜렷하다.
• 제안된 방법으로 생성된 합성 영상에서는 실재 영상과 유사한 픽셀 강도 변화가 나타나며, 기존의 기준 기반 피부 톤 변환 방법보다 천천히 변화하는 신호를 더 잘 유지한다.
• 공동 최적화 프레임워크는 피부 톤 변환과 천천히 변화하는 신호 유지 간의 분리를 성공적으로 달성하여 합성 데이터에서 정확한 생리적 신호 추정이 가능해졌다.
• UBFC-RPPG 및 VITAL 데이터셋 양쪽에서 MAE, RMSE, PCC, SNR 측정치에서 기존의 rPPG 알고리즘인 POS, CHROM, ICA 및 3D-CNN 모델보다 성능이 뛰어나다.
• 이 방법은 부족하게 표현된 집단으로부터 실세계 데이터 수집이 필요 없이 다양하고 현실적인 rPPG 훈련 데이터를 생성할 수 있도록 한다.