[논문 리뷰] EfficientPhys: Enabling Simple, Fast and Accurate Camera-Based Vitals Measurement

Xin Liu, Brian L. Hill외 3명|arXiv (Cornell University)|2021. 10. 09.

Non-Invasive Vital Sign Monitoring참고 문헌 30인용 수 14

한 줄 요약

EfficientPhys는 전처리 없이 원시 비디오 프레임을 처리하는 새로운 엔드 투 엔드 신경망을 제안하며, 이는 기존 방법보다 33% 높은 효율성과 최고 수준의 정확도를 달성한다. 이는 컨볼루션 또는 비전 트랜스포머 백본을 사용하여 모바일 및 엣지 디바이스에서 실시간 배포가 가능하며, 크로스플랫폼 구현을 단순화한다.

ABSTRACT

Camera-based physiological measurement is a growing field with neural models providing state-the-art-performance. Prior research have explored various "end-to-end" models; however these methods still require several preprocessing steps. These additional operations are often non-trivial to implement making replication and deployment difficult and can even have a higher computational budget than the "core" network itself. In this paper, we propose two novel and efficient neural models for camera-based physiological measurement called EfficientPhys that remove the need for face detection, segmentation, normalization, color space transformation or any other preprocessing steps. Using an input of raw video frames, our models achieve strong performance on three public datasets. We show that this is the case whether using a transformer or convolutional backbone. We further evaluate the latency of the proposed networks and show that our most light weight network also achieves a 33% improvement in efficiency.

연구 동기 및 목표

• 카메라 기반 생리 측정에서 얼굴 검출, 세그먼테이션, 색상 공간 변환과 같은 복잡한 전처리 단계가 필요 없도록 하는 것.
• 처리되지 않은 비디오 프레임을 입력으로 받아 직접 생체 신호를 출력하는 진정한 엔드 투 엔드 신경망 아키텍처를 개발하는 것.
• 모바일 및 엣지 디바이스에서 실시간 배포에 적합한 높은 정확도와 낮은 지연 시간을 달성하는 것.
• 공학적 복잡성을 줄이고 재현 가능성을 향상시켜 플랫폼 간 최종 마일스톤 배포를 단순화하는 것.
• 특히 자원이 제한되고 개인정보가 민감한 환경에서 접촉이 없는 생체 모니터링의 광범위한 접근성을 보장하는 것.

제안 방법

• 원시 RGB 비디오 프레임을 입력으로 사용하는 두 가지 엔드 투 엔드 아키텍처인 EfficientPhys-C(컨볼루션)와 EfficientPhys-T(비전 트랜스포머)를 제안한다.
• 프레임 간 픽셀 차이를 계산하여 미세한 생리적 변화를 추출하기 위해 차이 레이어를 도입한다.
• 픽셀 값을 0으로 중심화하는 정규화 모듈을 적용하여 모델의 안정성과 성능을 향상시킨다.
• 트랜스포머 기반 버전에서 시간적 모델링을 향상시키기 위해 텐서 시프트 모듈(TSM)을 통합한다.
• 공간적 및 시간적 차원에서 장거리 종속성을 포착하기 위해 트랜스포머 기반 모델에서 자기주의 메커니즘을 사용한다.
• 수작업으로 만든 특징이나 중간 표현에 의존하지 않고 원시 비디오 데이터 그대로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 전처리 없이도 진정한 엔드 투 엔드 딥 러닝 모델이 카메라 기반 생체 신호 측정에서 최고 수준의 성능을 달성할 수 있는가?
• RQ2 이 작업에서 비전 트랜스포머와 컨볼루션 아키텍처는 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ3 전처리 단계를 제거함으로써 모바일 및 엣지 디바이스에서의 배포 가능성은 어느 정도 향상되는가?
• RQ4 제한된 고성능 훈련 데이터로도 모델이 높은 정확도를 유지할 수 있는가?
• RQ5 기존의 신호 처리 및 딥 러닝 기준 대비 모델의 지연 시간과 계산 효율성은 어떻게 비교되는가?

주요 결과

• EfficientPhys는 전처리 없이도 세 가지 공개 데이터셋(PURE, UBFC, MAHNOB-HCI)에서 최고 수준의 정확도를 달성한다.
• 가장 경량화된 EfficientPhys 버전은 이전 최고 수준의 방법보다 33% 높은 효율성을 확보한다.
• 제거 실험 결과, 컨볼루션 모델에서 정규화 모듈을 제거하면 MAE가 753% 증가하고, 트랜스포머 모델에서는 420% 증가한다.
• 자기주의 메커니즘이 중요한 기여를 하며, EfficientPhys-C에서 이를 제거하면 MAE가 14% 증가한다.
• 텐서 시프트 모듈(TSM)은 시간적 모델링에 핵심적이며, 트랜스포머 기반 모델에서 제거하면 오차가 300% 증가한다.
• 제한된 데이터로 훈련되었을 때도 EfficientPhys는 얕은 컨볼루션 모델보다 우수한 성능을 보이며, 강력한 인덕티브 바이어스와 데이터 효율성을 시사한다.