[논문 리뷰] Spectral Reflectance based Heart Rate Measurement from Facial Video

Arvind Subramaniam, K. Rajitha|arXiv (Cornell University)|2019. 01. 02.

Non-Invasive Vital Sign Monitoring참고 문헌 12인용 수 20

한 줄 요약

이 논문은 얼굴 영상에서 원거리 광plethysmography(PPG)를 위한 새로운 스펙트럼 반사율 기반 조명 보정 방법을 제안하며, 배경 정보에 의존하지 않고 극한의 머리 움직임 조건에서도 강력한 심박수(HR) 추정이 가능하게 한다. 순환 최소 제곱 필터링과 기능점 복구 시스템을 통합함으로써, MAHNOB HCI 데이터셋에서 루트 평균 제곱 오차(RMSE)가 5.21%에 도달하여 이전 방법들을 능가한다.

ABSTRACT

Remote detection of the cardiac pulse has a number of applications in sports and medicine, and can be used to determine the physiological state of the subject. Previous approaches to estimate Heart Rate from video require the subject to remain stationary and employ background information to eliminate illumination interferences. The present research proposes a spectral reflectance based novel illumination rectification method to eliminate illumination variations in the video. Our method does not rely on the background of the video and is robust to extreme motion interferences (head movements). Furthermore, in order to tackle extreme motion artifacts, the present framework introduces a novel feature point recovery system which recovers the feature tracking points lost during extreme head movements of the subject. Finally, the individual HR estimates from multiple feature points are combined to produce an average HR. We evaluate the efficacy of our framework on the MAHNOB HCI dataset, a publicly available dataset employed by previous methods. Our HR measurement framework outperformed previous methods and had a root mean square error of 5.21%.

연구 동기 및 목표

• 극한의 머리 움직임과 조도 변화와 같은 도전적인 조건에서도 얼굴 영상에서 정확한 원거리 심박수 측정을 가능하게 하기 위해.
• 조명 보정에 배경 영역에 대한 의존성을 제거하여 동적인 환경에서의 강건성을 향상시키기 위해.
• 극한의 머리 움직임 동안 실종된 추적 점을 복구하는 기능점 복구 메커니즘을 개발하기 위해.
• 다양한 얼굴 기능점에서의 개별 심박수 추정치를 융합하여 심박수 추정 정확도를 향상시키기 위해.
• 공개된 데이터셋에서 프레임워크를 검증하고 기존 방법들보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 이 방법은 배경 기준 영역이 필요 없이 얼굴 영상의 조도 변화를 추정하고 보정하기 위해 스펙트럼 반사율 모델링을 활용한다.
• 스펙트럼 반사율 신호에 순환 최소 제곱(RLS) 필터를 적용하여 광plethysmographic(PPG) 맥박파를 추출한다.
• 시간적 및 공간적 일관성 모델을 사용하여 극한의 머리 움직임 동안 실종된 기능점을 복원하는 새로운 기능점 복구 시스템을 도입한다.
• 복구된 다수의 기능점에서 유도된 개별 심박수 추정치를 평균화하여 정확도와 강건성을 향상시킨다.
• 프레임워크는 RGB 영상 시퀀스를 처리하고, 색상 채널의 변화를 활용하여 맥박성 혈액 부피 변화를 분리한다.
• 조명 보정은 픽셀 단위에서 스펙트럼 반사율 분해를 통해 수행되어 주변 조명 간섭을 감소시킨다.

실험 결과

연구 질문

• RQ1 배경 영역에 의존하지 않고 스펙트럼 반사율 모델링이 얼굴 영상의 조도 변화를 효과적으로 제거할 수 있는가?
• RQ2 제안된 방법이 극한의 머리 움직임 조건에서도 심박수 추정 정확도를 유지하는 정도는 어떠한가?
• RQ3 기능점 복구 기술이 운동 아티팩트 발생 시 심박수 추정의 강건성에 얼마나 기여하는가?
• RQ4 다양한 기능점의 심박수 추정치 융합 방식이 단일 점 추정 방식보다 어떻게 비교되는가?
• RQ5 제안된 프레임워크가 표준 기준 데이터셋에서 기존의 원거리 PPG 방법들을 능가하는가?

주요 결과

• 제안된 조명 보정 방법은 배경 영역이 필요 없이 환경 조명 영향을 효과적으로 제거하여 실세계 환경에서의 강건성을 향상시켰다.
• 기능점 복구 시스템은 극한의 머리 움직임 동안 실종된 추적 점을 효과적으로 복원하여 신호의 연속성을 유지했다.
• 스펙트럼 반사율 모델링을 활용함으로써 조도 노이즈에서 맥박성 혈액 부피 변화를 효과적으로 분리하여 심박수 추정 정확도가 크게 향상되었다.
• 프레임워크는 MAHNOB HCI 데이터셋에서 루트 평균 제곱 오차(RMSE) 5.21%를 기록하여 이전 최고 성능 방법들을 능가했다.
• 다양한 기능점에서 유도된 심박수 추정치 융합은 분산을 감소시키고 전체 추정 안정성을 향상시켰다.
• 고도의 운동과 비균일한 조명 조건에서도 뛰어난 성능을 보였다.