[논문 리뷰] A Reproducible Study on Remote Heart Rate Measurement

Guillaume Heusch, André Anjos외 1명|arXiv (Cornell University)|2017. 09. 04.

Non-Invasive Vital Sign Monitoring참고 문헌 12인용 수 45

한 줄 요약

이 논문은 원격 체외 혈액공기측정법(rPPG) 평가를 표준화하기 위해 2가지 조명 조건에서 촬영한 40명의 피험자를 포함한 공개 가능하고 재현 가능한 데이터베이스를 제시한다. 이 연구는 새로운 COHFACE 데이터셋과 Mahnob HCI-Tagging 데이터셋에서 최신 rPPG 알고리즘 세 종류—LiCVPR, CHROM, 2SR—을 평가하여, 실제 환경에서 조명 조건이 일치하지 않는 상황에서는 어떤 알고리즘도 신뢰할 만한 성능을 내지 못함을 발견했으며, 유일하게 파arameter 조정을 통해 안정적인 성능을 보인 것은 CHROM임을 확인했다.

ABSTRACT

This paper studies the problem of reproducible research in remote photoplethysmography (rPPG). Most of the work published in this domain is assessed on privately-owned databases, making it difficult to evaluate proposed algorithms in a standard and principled manner. As a consequence, we present a new, publicly available database containing a relatively large number of subjects recorded under two different lighting conditions. Also, three state-of-the-art rPPG algorithms from the literature were selected, implemented and released as open source free software. After a thorough, unbiased experimental evaluation in various settings, it is shown that none of the selected algorithms is precise enough to be used in a real-world scenario.

연구 동기 및 목표

• 원격 체외 혈액공기측정법(rPPG) 알고리즘 평가를 위한 표준화되고 공개 가능한 데이터셋의 부족을 해결한다.
• 세 가지 최신 rPPG 알고리즘의 오픈소스 구현을 제공하여 rPPG 연구의 재현성 위기를 해결한다.
• 다양한 조명 조건과 해상도 조건에서의 알고리즘 성능 평가를 통해 일반화 능력과 내성 능력을 평가한다.
• 공정한 비교를 가능하게 하기 위해 원칙적이고 편향 없는 평가 프레임워크를 수립한다.
• 현재의 rPPG 알고리즘이 실제 세계의 제약 없는 환경으로 일반화하는 데 실패함을 입증한다.

제안 방법

• 스튜디오와 자연 조명 조건에서 각각 다른 두 가지 조건에서 촬영한 40명의 피험자를 포함한 새로운 공개 데이터베이스(COHFACE)를 수집한다.
• 보조 벤치마크로 Mahnob HCI-Tagging 데이터셋을 사용하여 심전도(EKG) 데이터를 동기화하여 참조 심박수를 확보한다.
• LiCVPR, CHROM, 2SR 세 가지 최신 rPPG 알고리즘을 오픈소스 소프트웨어로 구현하고 공개하여 재현 가능성을 확보한다.
• 표준화된 평가 프로토콜을 적용: 스튜디오 조건에서 학습하고 자연 조명에서 테스트하여 도메인 불일치를 평가한다.
• 피부 영역 추출을 위해 얼굴 경계 상자, 하부 얼굴의 수동 마스크, 피부 색상 필터를 사용하여 ROI 분석을 비교한다.
• 모든 테스트 시퀀스에서 추정된 심박수와 참조 심박수 간의 피어슨 상관계수를 측정하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 공개 가능하고 표준화된 데이터베이스는 원격 체외 혈액공기측정법(rPPG) 연구의 재현성과 공정한 비교를 향상시킬 수 있는가?
• RQ2 학습 중에 관찰하지 못한 실제 환경의 조명 조건에서 최신 rPPG 알고리즘의 성능은 어떻게 되는가?
• RQ3 조명과 해상도 변화에 따라 영역 선택(ROI)이 rPPG 알고리즘 성능에 미치는 영향은 무엇인가?
• RQ4 어느 rPPG 알고리즘이 다양한 불일치하는 환경 조건에서 가장 안정적인 성능을 보이는가?
• RQ5 매개변수 조정은 실제 배포 환경에서 rPPG 알고리즘의 내성 능력을 얼마나 향상시킬 수 있는가?

주요 결과

• CHROM 알고리즘이 모든 조건에서 가장 높고 안정적인 성능을 보였으며, COHFACE 데이터베이스의 자연 조명 테스트 세트에서 피어슨 상관계수 0.30을 기록했다.
• 2SR 알고리즘은 ROI 선택에 따라 성능 변동이 심했으며, 수동 마스크를 사용할 경우 상관계수 0.65를 기록했지만 피부 색상 필터링을 사용할 경우 뿐만 아니라 0.09에 그쳤다.
• LiCVPR 알고리즘은 모든 ROI에서 낮은 성능을 보였으며, 마스크를 사용한 경우 상관계수 -0.44를 기록하여 조도와 해상도 변화에 매우 민감함을 보였다.
• 불일치하는 조건(스튜디오 학습 → 자연 조명 테스트)에서 성능이 크게 떨어졌으며, LiCVPR의 상관계수는 -0.24로 떨어져 일반화 능력이 열악함을 보였다.
• 모든 알고리즘에서 실제 세계의 제약 없는 환경에서 일관되게 높은 성능를 기록하지 못했으며, 현재 rPPG 방법이 실용적 구현에 충분히 내성적이지 않음을 시사했다.
• 이 연구는 철저한 매개변수 조정이 필수적이며, 조도 및 해상도 조건 간의 일반화 문제는 여전히 rPPG 연구에서 주요 과제임을 확인했다.