[논문 리뷰] MetaPhys: Few-Shot Adaptation for Non-Contact Physiological Measurement

Xin Liu, Ziheng Jiang외 4명|arXiv (Cornell University)|2020. 10. 05.

Non-Invasive Vital Sign Monitoring참고 문헌 42인용 수 11

한 줄 요약

MetaPhys는 비접촉 영상 기반 생리측정을 위한 few-shot 메타학습 프레임워크를 제안하며, 레이블이 없는 영상 18초만으로도 빠른 개인화를 가능하게 한다. 비지도 허위 레이블링과 메타학습(MAML)을 결합함으로써, 교차 데이터셋 평가에서 기존 최고 성능 대비 42–44% 낮은 오차와 피부 색소에 따른 편향 감소를 달성한다.

ABSTRACT

There are large individual differences in physiological processes, making designing personalized health sensing algorithms challenging. Existing machine learning systems struggle to generalize well to unseen subjects or contexts and can often contain problematic biases. Video-based physiological measurement is not an exception. Therefore, learning personalized or customized models from a small number of unlabeled samples is very attractive as it would allow fast calibrations to improve generalization and help correct biases. In this paper, we present a novel meta-learning approach called MetaPhys for personalized video-based cardiac measurement for contactless pulse and heart rate monitoring. Our method uses only 18-seconds of video for customization and works effectively in both supervised and unsupervised manners. We evaluate our proposed approach on two benchmark datasets and demonstrate superior performance in cross-dataset evaluation with substantial reductions (42% to 44%) in errors compared with state-of-the-art approaches. We have also demonstrated our proposed method significantly helps reduce the bias in skin type.

연구 동기 및 목표

• 비접촉 영상 기반 원격 생리측정에서 새로운 피험자와 환경에 대해 일반화 능력이 떨어지는 문제를 해결하기 위해.
• rPPG 시스템에서 알려진 문제이지만, 다양한 피부 색소 간 성능 편향을 줄이기 위해.
• 임상적 캘리브레이션을 모방하여 최소한의 레이블 데이터로 생리측정 모델의 빠른 개인화를 가능하게 하기 위해.
• 골드 스탠다드 접촉 센서에 의존하지 않고도 캘리브레이션을 위한 지도 학습이 필요 없는 비지도 few-shot 적응 방법을 개발하기 위해.
• 특히 자원이 제한된 환경이나 원격의료 환경에서의 실생활 구현 시나리오에서의 강인성과 일반화 능력을 향상시키기 위해.

제안 방법

• MetaPhys는 사전 학습된 영상 기반 rPPG 모델을 새로운 피험자에게 소수의 샘플로 적응시키기 위해 모델 독립 메타학습(MAML) 기반의 메타학습 프레임워크를 사용한다.
• 접촉 센서 레이블 없이도 영상 프레임에서 합성된 진짜 심박수 신호를 생성하기 위해 비지도 허위 레이블링 전략을 사용한다.
• 백본 네트워크와 메타러닝러를 동시에 최적화하여, 영상 18초만으로도 새로운 개인에 대한 적응 성능을 향상시킨다.
• 적응 과정 중 신호 품질을 유지하기 위해 주파수 도메인 신호 대 잡음비(SNR) 손실을 통합한다.
• 지도 학습 및 비지도 미세조정을 모두 지원하며, 후자의 경우 캘리브레이션 단계에서 골드 스탠다드 레이블이 필요 없게 된다.
• 원격 학습(federated learning)과의 호환성을 고려하여, 원시 영상 데이터를 공유하지 않고도 안전한 개인화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 few-shot 메타학습 접근 방식이 비접촉 생리측정에서 교차 데이터셋 일반화 능력을 크게 향상시킬 수 있는가?
• RQ2 비지도 허위 레이블링 전략이 rPPG 시스템의 개인화에서 골드 스탠다드 레이블을 효과적으로 대체할 수 있는가?
• RQ3 기존 최고 수준의 방법에 비해 MetaPhys는 다양한 피부 색소 간 성능 편향을 어느 정도 감소시키는가?
• RQ4 일광, 움직임, 하드웨어 조건이 다양할 경우 메서드의 일반화 능력은 어떠한가?
• RQ5 MetaPhys는 데이터 프라이버시를 보장하면서 모델 강인성을 향상시키기 위해 원격 학습 환경에 배포될 수 있는가?

주요 결과

• MMSE 및 UBFC 데이터셋에서의 교차 데이터셋 평가에서 MetaPhys는 기존 최고 수준의 방법 대비 평균 절대 오차(MAE)를 42–44% 감소시켰다.
• 신호 대 잡음비(SNR) 향상으로 인해 더 나은 품질의 맥박 신호 복원이 가능함을 나타내었다.
• 특히 어두운 피부를 가진 개인의 정확도 향상이 두드러져, 피부 색소 간 성능 편향을 크게 줄였다.
• 비지도 적응 설정에서도 지도 미세조정 성능과 유사한 결과를 달성하여, 허위 레이블링의 효과를 입증하였다.
• 표준 미세조정 및 이전 메타학습 기반 베이스라인에 비해, 특히 데이터가 적은 상황에서 뛰어난 성능을 보였다.
• 다양한 영상 품질, 조명 조건, 움직임 조건에서도 잘 일반화되어 실생활 환경에서의 강인성을 입증하였다.