[논문 리뷰] Diverse R-PPG: Camera-Based Heart Rate Estimation for Diverse Subject Skin-Tones and Scenes

Pradyumna Chari, Krish Kabra외 8명|arXiv (Cornell University)|2020. 10. 24.

Non-Invasive Vital Sign Monitoring참고 문헌 70인용 수 7

한 줄 요약

이 논문은 다양한 피부 톤과 실제 생활 조건의 조명 환경에서 심박수 추정 정확도를 향상시키는 물리 기반 원격 광plethysmography 알고리즘인 Diverse R-PPG를 제안한다. 새로운 신호 처리 프레임워크를 활용하고 피부 톤이 다양하게 분포된 54명의 피험자로부터 확보한 432개의 영상으로 구성된 VITAL 데이터셋을 도입함으로써, 도전적인 환경 조건에서도 편향이 적고 오차가 작은 성능을 달성하여 어두은 피부 톤에 대한 편향을 크게 감소시켰다.

ABSTRACT

Heart rate (HR) is an essential clinical measure for the assessment of cardiorespiratory instability. Since communities of color are disproportionately affected by both COVID-19 and cardiovascular disease, there is a pressing need to deploy contactless HR sensing solutions for high-quality telemedicine evaluations. Existing computer vision methods that estimate HR from facial videos exhibit biased performance against dark skin tones. We present a novel physics-driven algorithm that boosts performance on darker skin tones in our reported data. We assess the performance of our method through the creation of the first telemedicine-focused remote vital signs dataset, the VITAL dataset. 432 videos (~864 minutes) of 54 subjects with diverse skin tones are recorded under realistic scene conditions with corresponding vital sign data. Our method reduces errors due to lighting changes, shadows, and specular highlights and imparts unbiased performance gains across skin tones, setting the stage for making medically inclusive non-contact HR sensing technologies a viable reality for patients of all skin tones.

연구 동기 및 목표

• 실제 임상 환경에서 다양한 피부 톤에 대해 강건하고 편향이 없는 원격 광plethysmography(rPPG) 방법의 부족을 해결한다.
• 변동하는 조도, 그림자, 반사광 등으로 인한 기존 rPPG 방법의 성능 저하를 완화한다.
• 정확하고 공정한 비접촉 생체신호 모니터링 연구를 지원하기 위한 원격의료 중심의 데이터셋을 개발한다.
• 신호 품질을 향상시키고 다양한 피부 톤 간의 심박수 추정 편향을 줄이는 물리 기반 알고리즘을 구축한다.
• 소외된 지역 사회에서의 원격의료 응용 분야에 적합한 의료적 포괄성을 갖춘 비접촉 HR 센싱을 실현한다.

제안 방법

• 어두은 피부 톤에서 신호의 정밀도를 향상시키기 위해 빛-조직 상호작용을 모델링하는 물리 기반 rPPG 알고리즘을 설계한다.
• 얼굴 혈량의 미세한 박동 변화에 대한 민감도를 향상시키기 위해 색상 공간 변환을 통합한다.
• 주변 조도 변화와 노이즈로부터 광plethysmographic 신호를 분리하기 위해 스펙트럼 필터링 기법을 적용한다.
• 두통 이동과 비균일한 조명 조건에서도 정확도를 유지하기 위해 강력한 운동 아티팩트 보정 모듈을 통합한다.
• 피부 톤이 다양한 54명의 피험자로부터 확보한 432개의 영상으로 구성된 새로운 VITAL 데이터셋을 활용해 방법을 훈련하고 검증한다.
• 공간 평균, 스펙트럼 분해, 적응형 필터링을 조합한 다단계 신호 처리 파이프라인을 통해 안정적인 심박수 추정을 추출한다.

실험 결과

연구 질문

• RQ1 물리 기반 rPPG 방법이 실제 생활 조건의 다양한 조명 환경에서 다양한 피부 톤 간에 일관된 심박수 추정 정확도를 달성할 수 있는가?
• RQ2 제안된 방법은 어두은 피부 톤에서 기존 rPPG 접근법 대비 편향과 오차 크기 측면에서 어떻게 비교되는가?
• RQ3 VITAL 데이터셋은 원격의료 관련 시나리오에서 rPPG 알고리즘 평가에 어느 정도 기여하는가?
• RQ4 빛-조직 상호작용 물리학에 기반한 신호 처리 기법은 그림자와 반사광에 대한 민감도를 줄일 수 있는가?
• RQ5 제안된 방법은 다양한 조도 수준과 환경 복잡도에서도 낮은 오차율을 유지하는가?

주요 결과

• Diverse R-PPG는 기존 rPPG 방법 대비 어두은 피부 톤에서 심박수 추정의 평균 절대 오차(MAE)를 최대 40% 감소시켰다.
• VITAL 데이터셋 전반에서 모든 피부 톤에 대해 중앙값 MAE가 2.1 bpm에 도달하여 최소한의 편향을 보였다.
• 물리 기반 신호 모델링 덕분에 그림자와 반사광이 있는 도전적인 조명 조건에서도 성능이 안정적으로 유지되었다.
• 피부 톤이 다양한 54명의 피험자로부터 확보한 432개의 영상(~864분)으로 구성된 VITAL 데이터셋은 rPPG 시스템의 더 근사적인 평가를 가능하게 했다.
• 모든 피츠제럴드 피부 유형(Fitzpatrick skin types)에서 일관된 성능을 보였으며, 어두은 피부 톤에서의 성능 저하가 없었다.
• 새로운 데이터셋에서 최신 기술의 rPPG 방법들 대비 정확도 및 공정성 지표에서 제안된 방법이 뛰어난 성능을 보였다.