[논문 리뷰] Self-supervised Representation Learning Framework for Remote Physiological Measurement Using Spatiotemporal Augmentation Loss

Hao Wang, Euijoon Ahn외 1명|arXiv (Cornell University)|2021. 07. 16.

Non-Invasive Vital Sign Monitoring인용 수 4

한 줄 요약

이 논문은 레이블이 없는 데이터를 요구하지 않고 얼굴 영상에서 원격 혈관확장 측정을 위한 자기지도 학습 표현 학습 프레임워크인 SLF-RPM을 제안한다. 샤퍼의 이색 반사 모델을 통한 랜드마크 기반 공간 증강과 니크베이시-샤논 정리에 기반한 희소성 기반 시간 증강을 도입하며, 제약 조건이 부여된 시공간 손실을 결합하여 강건한 rPPG 특징을 학습한다. 이는 세 가지 공개 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하고, 지도 학습 방법과 경쟁 가능한 정확도를 보였다.

ABSTRACT

Recent advances in supervised deep learning methods are enabling remote measurements of photoplethysmography-based physiological signals using facial videos. The performance of these supervised methods, however, are dependent on the availability of large labelled data. Contrastive learning as a self-supervised method has recently achieved state-of-the-art performances in learning representative data features by maximising mutual information between different augmented views. However, existing data augmentation techniques for contrastive learning are not designed to learn physiological signals from videos and often fail when there are complicated noise and subtle and periodic colour or shape variations between video frames. To address these problems, we present a novel self-supervised spatiotemporal learning framework for remote physiological signal representation learning, where there is a lack of labelled training data. Firstly, we propose a landmark-based spatial augmentation that splits the face into several informative parts based on the Shafer dichromatic reflection model to characterise subtle skin colour fluctuations. We also formulate a sparsity-based temporal augmentation exploiting Nyquist-Shannon sampling theorem to effectively capture periodic temporal changes by modelling physiological signal features. Furthermore, we introduce a constrained spatiotemporal loss which generates pseudo-labels for augmented video clips. It is used to regulate the training process and handle complicated noise. We evaluated our framework on 3 public datasets and demonstrated superior performances than other self-supervised methods and achieved competitive accuracy compared to the state-of-the-art supervised methods.

연구 동기 및 목표

• 대규모 레이블이 없는 데이터 문제를 해결하기 위해 자기지도 표현 학습 프레임워크를 개발한다.
• rPPG 특성에 맞게 도메인 특화된 데이터 증강을 설계하여 미세한 생리 신호의 특징 학습을 향상시킨다.
• 얼굴 영상에서 복잡한 노이즈 및 주기적인 색상/형상 변화에 대응하기 위해 새로운 제약 조건이 부여된 시공간 손실을 통해 강건성을 향상시킨다.
• 어느 정도의 생리적 레이블도 필요로 하지 않고도 지도 학습 최신 기술 수준 방법과 경쟁 가능한 성능을 달성한다.

제안 방법

• 샤퍼의 이색 반사 모델을 활용해 얼굴를 영역으로 분할하는 랜드마크 기반 공간 증강을 제안하여 미세한 피부 색상 변화를 포착한다.
• 니크베이시-샤논 샘플링 정리를 활용해 주기적인 rPPG 신호 특징을 모델링하는 희소성 기반 시간 증강을 도입한다.
• 증강된 클립에서 가짜 레이블을 생성하여 대조 학습을 이끌고 학습을 안정화시키기 위해 제약 조건이 부여된 시공간 손실 함수를 설계한다.
• 원시 영상 클립에서 시공간 특징을 추출하기 위해 3D 합성곱 신경망을 사용하며, 자기지도 사전 학습 후 선형 평가 및 전이 학습을 수행한다.
• 모멘텀 대비 학습 프레임워크를 활용하여 제안된 증강을 통해 양의 쌍을 생성하고, 같은 배치에서 음의 쌍을 추출한다.
• 대비 최적화를 위해 특징을 잠재 공간으로 투영하기 위해 2048 또는 512 차원 출력을 갖는 다층 퍼셉트론 헤드를 적용한다.

실험 결과

연구 질문

• RQ1 대규모 레이블이 없는 데이터에 의존하지 않고도 자기지도 학습 프레임워크가 효과적으로 대표적인 rPPG 특징을 학습할 수 있는가?
• RQ2 도메인 특화된 공간 및 시간 증강이 얼굴 영상에서 미세한 생리 신호 변화의 학습에 어떻게 기여하는가?
• RQ3 제약 조건이 부여된 시공간 손실이 노이즈에 대한 강건성을 향상시키고 원격 생리 측정 성능을 향상시키는 데 어느 정도 기여하는가?
• RQ4 제안된 프레임워크는 공개 rPPG 벤치마크에서 최신 기술 수준의 지도 학습 및 자기지도 학습 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• SLF-RPM은 MAHNOB-HCI, UBFC-rPPG, VIPL-HR-V2 데이터셋에서 심박수 추정 정확도 측면에서 모든 다른 자기지도 대비 학습 방법을 능가했다.
• MAHNOB-HCI 데이터셋에서 선형 평가 시 평균 절대 오차(MAE)가 0.82 bpm을 기록하여 이전의 SOTA SSL 방법을 뛰어넘었다.
• UBFC-rPPG 데이터셋에서 MAE가 0.91 bpm을 기록하여 노이즈 및 운동에 대한 강건성과 뛰어난 일반화 능력을 입증했다.
• 도전적인 VIPL-HR-V2 데이터셋에서 MAE가 1.05 bpm을 기록하여 최신 기술 수준의 지도 학습 모델과 경쟁 가능한 성능을 보였다.
• 절단 실험을 통해 공간 증강과 시간 증강이 성능 향상에 크게 기여하며, 제약 조건이 부여된 손실이 학습 안정성을 향상시킨다는 것이 확인되었다.
• 전이 학습 실험에서 모든 데이터셋에서 일관된 향상이 관찰되어 학습된 표현이 일반화 가능하고 후속 작업에 효과적임을 시사했다.