[논문 리뷰] Real-Time Monitoring of User Stress, Heart Rate and Heart Rate Variability on Mobile Devices

Peyman Bateni, Leonid Sigal|arXiv (Cornell University)|2022. 10. 04.

Emotion and Mood Recognition인용 수 5

한 줄 요약

이 논문은 스마트폰의 속민 카메라만을 사용하여 실시간으로 사용자 스트레스, 심박수, 심박수 변동성을 모니터링할 수 있는 실시간 온디바이스 솔루션인 Beam AI SDK를 제시한다. 미세한 얼굴 피부 색상 변화를 분석하여 맥박 파형을 추출하고 Baevsky 스트레스 지수를 적용함으로써 심박수 추정 정확도가 99.2%에 달하고 스트레스 및 HRV에 대한 피어슨 상관계수는 0.801을 기록하여 기존 방법보다 거의 두 배에 가까운 정확도와 더 낮은 오차율을 확보하였다.

ABSTRACT

Stress is considered to be the epidemic of the 21st-century. Yet, mobile apps cannot directly evaluate the impact of their content and services on user stress. We introduce the Beam AI SDK to address this issue. Using our SDK, apps can monitor user stress through the selfie camera in real-time. Our technology extracts the user's pulse wave by analyzing subtle color variations across the skin regions of the user's face. The user's pulse wave is then used to determine stress (according to the Baevsky Stress Index), heart rate, and heart rate variability. We evaluate our technology on the UBFC dataset, the MMSE-HR dataset, and Beam AI's internal data. Our technology achieves 99.2%, 97.8% and 98.5% accuracy for heart rate estimation on each benchmark respectively, a nearly twice lower error rate than competing methods. We further demonstrate an average Pearson correlation of 0.801 in determining stress and heart rate variability, thus producing commercially useful readings to derive content decisions in apps. Our SDK is available for use at www.beamhealth.ai.

연구 동기 및 목표

• 모바일 앱에서 실시간으로 정확한 스트레스 모니터링이 부족한 문제를 해결하기 위해, 특히 전 세계적으로 증가하는 스트레스 관련 질환의 부담을 감안하여.
• 웨어러블 기반 스트레스 모니터링의 한계, 예를 들어 낮은 보급률과 제3자 접근 제한 등의 문제를 해결하기 위해.
• 비침습적이고 온디바이스 센싱을 통해 모바일 애플리케이션이 콘텐츠 및 서비스의 생리적 영향을 평가할 수 있도록 하기 위해.
• 추가 하드웨어 없이도 완전히 온디바이스에서 작동하며 계산적으로 효율적이고 개인정보 보호를 고려한 SDK를 개발하기 위해.
• 공개 벤치마크와 실제 모바일 기록을 통해 시스템의 정확성과 신뢰성을 검증하기 위해.

제안 방법

• 시스템은 스마트폰의 전면 카메라로 촬영한 얼굴 피부 부위의 미세한 색상 변화를 분석하여 사용자의 맥박 파형을 추출한다.
• 특허받은 피크 검출 알고리즘이 추출된 맥박 파형을 처리하여 심박 간격을 계산하고, 이를 기반으로 심박수, 심박수 변동성(SDNN) 및 스트레스 수준을 유도한다.
• 스트레스는 심박 간격의 변동성에 기반한 Baevsky 스트레스 지수를 사용하여 정량화한다.
• 모든 처리는 온디바이스에서 수행되어 사용자 데이터가 기기 외부로 유출되지 않으며, SDK는 일반 앱 사용 중 배경에서 효율적으로 작동한다.
• 평가를 위해 UBFC, MMSE-HR 및 내부 iPhone 기록 데이터셋 3종을 사용하였고, 골드스탠다드로는 Polar H10 가슴 스트랩과 수작업으로 확인된 맥박 피크를 활용하였다.
• 성능은 심박수, HRV 및 스트레스에 대해 참값 대비 MAE, MAPE, RMSE 및 피어슨 상관계수로 측정되었다.

실험 결과

연구 질문

• RQ1 스마트폰의 속민 카메라만으로 추가 하드웨어 없이 실시간으로 심박수를 정확하게 추정할 수 있는가?
• RQ2 동일한 카메라 기반 접근 방식이 골드스탠다드 측정값과 높은 상관관계를 유지하면서 심박수 변동성과 스트레스 수준을 신뢰성 있게 추정할 수 있는가?
• RQ3 공개 벤치마크에서 제안된 SDK는 기존의 원거리 광학적 맥박 측정 방법보다 정확도와 오차율 측면에서 어떻게 비교되는가?
• RQ4 소비자용 모바일 기기에서 실생활 지속적 모니터링 시나리오에서도 SDK가 성능을 유지를 할 수 있는 정도는 어느 정도인가?
• RQ5 콘텐츠 및 서비스 평가에 있어 정신건강 및 웰니스 앱에서 상용적으로 유용한 정확도를 달성할 수 있는가?

주요 결과

• UBFC 데이터셋에서 Beam AI SDK는 심박수 추정 정확도 99.2%를 기록하였고, 평균 절대 오차(MAE)는 0.65bpm이었으며, 경쟁 기술들보다 뚜렷이 뛰어난 성능을 보였다.
• MMSE-HR 데이터셋에서는 정확도 97.8% 및 MAE 0.77bpm을 기록하여 다양한 데이터에 대한 강건성을 입증하였다.
• iPhone 13에서의 지속적 모니터링에서 SDK는 Polar H10 가슴 스트랩의 골드스탠다드 읽기와 스트레스 및 HRV에 대해 피어슨 상관계수 0.801을 기록하였다.
• UBFC 데이터셋의 수작업으로 확인된 맥박 피크를 대상으로 평가한 결과, 스트레스 추정 MAE는 0.973, 상관계수 0.730을 기록하여 임상 기준과 강한 일치를 보였다.
• EfficientPhys-T1 및 TS-CAN과 같은 최첨단 방법에 비해 심박수 추정의 평균 절대 오차를 거의 두 배 감소시켰다.
• 시스템은 높은 계산 효율성과 완전한 온디바이스 작동을 보이며, 개인정보 보호를 보장하고 실시간 배경 모니터링을 가능한 모바일 애플리케이션에서 활용 가능하게 하였다.