[논문 리뷰] Video-based Remote Physiological Measurement via Cross-verified Feature Disentangling

Xuesong Niu, Zitong Yu외 4명|arXiv (Cornell University)|2020. 07. 16.

Non-Invasive Vital Sign Monitoring참고 문헌 23인용 수 11

한 줄 요약

이 논문은 다중 척도 공간-시간 맵(MSTmaps)을 사용하여 생리적 신호 표현을 향상시키고, 이중 인코더를 갖춘 오토인코더를 통해 상호 생성을 통한 교차 검증을 통해 생리적 신호와 비생리적 특징을 분리하는, 강건한 영상 기반 원거리 생리 측정을 위한 교차 검증 특징 분리(CVD) 방법을 제안한다. 이 방법은 공개 데이터셋에서 심박수(HR) 추정의 RMSE를 9.03 bpm에서 7.97 bpm으로 감소시켜 최첨단 성능을 달성한다.

ABSTRACT

Remote physiological measurements, e.g., remote photoplethysmography (rPPG) based heart rate (HR), heart rate variability (HRV) and respiration frequency (RF) measuring, are playing more and more important roles under the application scenarios where contact measurement is inconvenient or impossible. Since the amplitude of the physiological signals is very small, they can be easily affected by head movements, lighting conditions, and sensor diversities. To address these challenges, we propose a cross-verified feature disentangling strategy to disentangle the physiological features with non-physiological representations, and then use the distilled physiological features for robust multi-task physiological measurements. We first transform the input face videos into a multi-scale spatial-temporal map (MSTmap), which can suppress the irrelevant background and noise features while retaining most of the temporal characteristics of the periodic physiological signals. Then we take pairwise MSTmaps as inputs to an autoencoder architecture with two encoders (one for physiological signals and the other for non-physiological information) and use a cross-verified scheme to obtain physiological features disentangled with the non-physiological features. The disentangled features are finally used for the joint prediction of multiple physiological signals like average HR values and rPPG signals. Comprehensive experiments on different large-scale public datasets of multiple physiological measurement tasks as well as the cross-database testing demonstrate the robustness of our approach.

연구 동기 및 목표

• 영상 기반 원거리 생리 측정에서 머리 움직임, 조도 변화, 센서 노이즈 등의 비생리적 간섭 요인을 해결하기 위한 도전 과제를 다루기 위해.
• 영상에서 불필요한 아티팩트와 생리적 신호를 분리함으로써 원거리 광plethysmography(rPPG)의 강건성과 정확도를 향상시키기 위해.
• 종단 간 다중 작업 학습 프레임워크를 통해 평균 심박수(HR)와 rPPG 신호를 동시에 추정할 수 있도록 하기 위해.
• 사전 정의된 비생리적 신호에 의존하는 방법들보다 우수한 성능을 보이는 데이터 기반 분리 전략을 개발하기 위해.

제안 방법

• 배경 노이즈를 억제하고 생리적 신호의 시간적 특성을 유지하기 위해 입력 얼굴 영상에서 다중 척도 공간-시간 맵(MSTmaps)으로 변환하기 위해.
• 한 인코더가 생리적 특징을 추출하고 다른 인코더가 비생리적 정보를 캡처하는 이중 인코더 오토인코더 아키텍처를 설계하기 위해.
• 다른 입력에서의 특징을 사용하여 원래의 MSTmaps를 재구성하고 의사 MSTmaps를 상호 생성함으로써 특징 일관성을 강제하는 교차 검증 분리 전략을 구현하기 위해.
• 분리된 생리적 특징을 사용하여 평균 HR과 rPPG 신호를 동시에 예측하기 위한 다중 작업 예측 수행하기 위해.
• HR 및 rPPG 추정을 동시에 최적화하기 위해 종단 간 다중 작업 학습(MTL)을 사용하여 네트워크를 훈련시키기 위해.
• 안정적인 훈련과 특징 재구성 확보를 위해 인코더에는 배치 정규화, 디코더에는 인스턴스 정규화를 적용하기 위해.

실험 결과

연구 질문

• RQ1 데이터 기반 분리 전략은 영상 기반 rPPG에서 생리적 신호와 비생리적 아티팩트를 효과적으로 분리할 수 있는가?
• RQ2 교차 검증 특징 분리가 실제 환경 조건에서 원거리 생리 측정의 강건성과 정확도를 향상시키는가?
• RQ3 사전 정의된 비생리적 신호(예: 머리 움직임, 얼굴 픽셀 분산)를 사용한 분리 전략과 비교해 본다면, 제안된 CVD 방법은 어떤가?
• RQ4 분리된 생리적 특징은 평균 심박수와 rPPG 신호 추정을 위한 다중 작업 학습에 효과적으로 활용될 수 있는가?

주요 결과

• MSTmaps를 입력으로 사용할 경우 제안된 CVD 전략은 심박수 추정 RMSE를 9.03 bpm에서 7.97 bpm으로 감소시켜 정확도 향상이 뚜렷하게 나타났다.
• 기본 방법 대비 더 낮은 MAE(5.02 bpm)와 향상된 상관계수(r)를 달성하여 강건성이 향상됨을 입증하였다.
• 머리 움직임(N_movement)과 얼굴 픽셀 표준편차(N_stdface)와 같은 사전 정의된 비생리적 신호를 사용한 분리 전략보다 모든 평가 지표에서 교차 검증 분리가 뛰어난 성능을 보였다.
• MSTmaps를 입력 표현으로 사용함으로써 네트워크가 관련 생리적 특징을 효과적으로 캡처하고 노이즈 및 불필요한 변동을 억제하는 능력이 향상됨을 확인하였다.
• 다양한 공개 데이터셋에서 잘 일반화되며, 종합적인 원거리 생리 측정에서 최첨단 성능을 달성하였다.
• 교차 검증 메커니즘이 생리적 인코더가 움직임과 조명 아티팩트 간섭을 최소화하고 심박수와 rPPG 관련 특징에 전적으로 집중하도록 보장하였다.