[논문 리뷰] Efficient Deep Learning-based Estimation of the Vital Signs on Smartphones

Taha Samavati, Mahdi Farvardin외 1명|arXiv (Cornell University)|2022. 04. 13.

Telemedicine and Telehealth Implementation인용 수 6

한 줄 요약

이 논문은 사전 처리 없이 실시간으로 스마트폰 기반으로 심박수와 SpO2를 추정하기 위한 엔드 투 엔드, 완전 컨볼루션 딥 러닝 모델을 제안한다. 이 방법은 상당히 감소된 파라미터 수와 계산 복잡도를 바탕으로 최신 기술 수준의 정확도를 달성하여 저사양 기기에도 구현이 가능하며, 기준 생체 신호가 포함된 62개의 스마트폰 촬영 PPG 영상으로 구성된 공개 MTHS 데이터셋을 제공한다.

ABSTRACT

With the increasing use of smartphones in our daily lives, these devices have become capable of performing many complex tasks. Concerning the need for continuous monitoring of vital signs, especially for the elderly or those with certain types of diseases, the development of algorithms that can estimate vital signs using smartphones has attracted researchers worldwide. In particular, researchers have been exploring ways to estimate vital signs, such as heart rate, oxygen saturation levels, and respiratory rate, using algorithms that can be run on smartphones. However, many of these algorithms require multiple pre-processing steps that might introduce some implementation overheads or require the design of a couple of hand-crafted stages to obtain an optimal result. To address this issue, this research proposes a novel end-to-end solution to mobile-based vital sign estimation using deep learning that eliminates the need for pre-processing. By using a fully convolutional architecture, the proposed model has much fewer parameters and less computational complexity compared to the architectures that use fully-connected layers as the prediction heads. This also reduces the risk of overfitting. Additionally, a public dataset for vital sign estimation, which includes 62 videos collected from 35 men and 27 women, is provided. Overall, the proposed end-to-end approach promises significantly improved efficiency and performance for on-device health monitoring on readily available consumer electronics.

연구 동기 및 목표

• 스마트폰 카메라와 플래시를 사용하여 생체 신호(심박수 및 SpO2)를 실시간으로 추정할 수 있는 모바일 배포 가능한 방법을 개발하기.
• 이전 방법에서 흔히 사용되던 복잡한 수작업 사전 처리 단계가 필요 없도록 제거하기.
• 완전 컨볼루션 아키텍처로 완전 연결 층을 대체하여 모델 복잡도를 감소시키고 과적합 위험을 줄이기.
• 기준 생체 신호 값이 포함된 공개 데이터셋(MTHS)을 제공하여 스마트폰으로 촬영한 PPG 신호를 확보하기.
• 계산 및 파라미터 요구 사항을 최소화하여 저사양 모바일 기기에서의 배포를 가능하게 하기.

제안 방법

• 제안된 모델는 스마트폰 카메라와 플래시에서 유입되는 원시 RGB 시계열 신호를 처리하기 위해 완전 컨볼루션 신경망(FCN) 아키텍처를 사용하며, 모든 사전 처리 단계를 생략한다.
• 모델은 30 fps 속도로 영상 프레임의 평균 빨강, 초록, 파랑 채널 값을 처리하여 입력용 3채널 1차원 신호를 계산한다.
• 가장 뛰어난 성능을 보인 잔차 완전 컨볼루션 네트워크(Residual FCN)를 사용하며, 기울기 흐름 향상과 학습 안정성 향상을 위해 스킵 연결을 적용한다.
• 다중 손실 함수(MSE, MAE, Huber, log-cosh)를 사용하여 엔드 투 엔드로 학습되며, MAE와 log-canh 손실 함수가 더 뛰어난 강인성을 보였다.
• Android 스마트폰(v5.0 이상)에서 효율적인 추론을 위해 모델 가중치를 텐서플로우 라이트(TFLite) 형식으로 변환한다.
• 응용 프로그램은 10초마다 프레임을 캡처하고 평균 RGB 신호를 계산하며 실시간으로 생체 신호를 추론한다.

실험 결과

연구 질문

• RQ1 사전 처리 없이도 엔드 투 엔드 딥 러닝 모델이 스마트폰으로 촬영한 PPG 신호에서 심박수와 SpO2를 추정할 수 있는가?
• RQ2 완전 컨볼루션 아키텍처는 완전 연결 층을 사용하는 모델 대비 모델 파라미터 수와 계산 복잡도를 줄일 수 있는가?
• RQ3 제안된 방법이 스마트폰 기반 생체 신호 추정에서 최신 기술 수준의 정확도를 달성하는가?
• RQ4 최소한의 추론 오버헤드로 저사양 모바일 기기에서 모델을 효율적으로 배포할 수 있는가?
• RQ5 다양한 손실 함수와 아키텍처에서 모델의 성능는 어떻게 변화하는가?

주요 결과

• Residual FCN 모델은 MTHS 테스트 세트에서 심박수 추정 시 평균 절대 오차(MAE)가 6.59로 가장 낮아 다른 아키텍처보다 뛰어난 성능을 보였다.
• 동일한 Residual FCN 모델은 MTHS 테스트 세트에서 SpO2 추정 시 MAE가 1.24로 최신 기술 수준의 성능을 나타냈다.
• DCT 기반 모델은 기본 모델의 1/10에 불과한 파라미터 수를 가졌음에도 불구하고 기본 모델보다 더 낮은 MAE를 기록하여 파라미터 효율성을 입증했다.
• 완전 컨볼루션 아키텍처는 완전 연결 층을 사용하는 모델 대비 과적합 위험과 계산 복잡도를 감소시켰다.
• TFLite를 사용하여 안드로이드 스마트폰에 성공적으로 배포되어 10초마다 최소한의 지연 시간으로 실시간 추론이 가능했다.
• 기준 심박수 및 SpO2 값이 포함된 62명의 피험자로부터 촬영한 62개 영상으로 구성된 공개 MTHS 데이터셋이 향후 연구를 지원하기 위해 공개되었다.