[논문 리뷰] Optimised Convolutional Neural Networks for Heart Rate Estimation and Human Activity Recognition in Wrist Worn Sensing Applications

Eoin Brophy, Willie Muehlhausen외 2명|arXiv (Cornell University)|2020. 03. 30.

Non-Invasive Vital Sign Monitoring참고 문헌 16인용 수 12

한 줄 요약

이 논문은 손목에 착용하는 기기에서 동시에 심박수 추정과 인간 활동 인식(HAR)을 수행하기 위해 최적화된 합성곱 신경망(CNN)을 사용하는 단일 광학 센서, 저샘플링 속도 기반 접근법을 제안한다. 이 방법은 HAR에 대해 전이 학습을 활용하고 심박수 추정에 대해 CNN 회귀를 적용하여 5–10 Hz의 샘플링 속도에서도 높은 정확도를 달성한다. 이는 기존의 256 Hz에서 사용하는 방법과 동일하거나 이를 초월하며, 성능을 손상시키지 않은 채 전력 소모와 비용을 크게 절감함을 보여준다.

ABSTRACT

Wrist-worn smart devices are providing increased insights into human health, behaviour and performance through sophisticated analytics. However, battery life, device cost and sensor performance in the face of movement-related artefact present challenges which must be further addressed to see effective applications and wider adoption through commoditisation of the technology. We address these challenges by demonstrating, through using a simple optical measurement, photoplethysmography (PPG) used conventionally for heart rate detection in wrist-worn sensors, that we can provide improved heart rate and human activity recognition (HAR) simultaneously at low sample rates, without an inertial measurement unit. This simplifies hardware design and reduces costs and power budgets. We apply two deep learning pipelines, one for human activity recognition and one for heart rate estimation. HAR is achieved through the application of a visual classification approach, capable of robust performance at low sample rates. Here, transfer learning is leveraged to retrain a convolutional neural network (CNN) to distinguish characteristics of the PPG during different human activities. For heart rate estimation we use a CNN adopted for regression which maps noisy optical signals to heart rate estimates. In both cases, comparisons are made with leading conventional approaches. Our results demonstrate a low sampling frequency can achieve good performance without significant degradation of accuracy. 5 Hz and 10 Hz were shown to have 80.2% and 83.0% classification accuracy for HAR respectively. These same sampling frequencies also yielded a robust heart rate estimation which was comparative with that achieved at the more energy-intensive rate of 256 Hz.

연구 동기 및 목표

• 샘플링 주파수를 최소화하고 관성 센서가 필요 없도록 하여 손목에 착용하는 웨어러블 기기의 전력 소모와 하드웨어 복잡성을 줄이기 위해.
• 원시 PPG 신호에 깊이 학습을 적용하여 운동 간섭 현상이 존재하는 상황에서도 심박수 추정 정확도를 향상시키기 위해.
• 추가 센서나 고속 샘플링이 없이도 온전히 광학적 PPG 신호만으로 인간 활동 인식이 가능하다는 것을 입증하기 위해.
• 기존의 신호 처리 방법과 비교하여 저샘플링 주파수(5–30 Hz)에서 딥 러닝 파이프라인의 성능을 평가하기 위해.
• 노이즈가 많은 PPG 데이터에서 안정적인 심박수 추정을 위한 CNN 기반의 회귀 모델을 최적화하기 위해.

제안 방법

• 이동 중 신호의 형태 변화를 특징으로 삼아, PPG 신호에 기반한 전이 학습 기반 CNN을 미세 조정하여 인간 활동을 분류한다.
• 별도의 CNN 회귀 모델(CNNR)을 구축하여 원시적이고 노이즈가 많은 PPG 신호를 직접 심박수 값으로 매핑하도록 훈련한다. 이는 기존의 필터링 단계를 생략하는 방식이다.
• 학습률, 에포크 수, 훈련-테스트 분할 비율 등의 하이퍼파라미터를 검색하여 심박수 추정 오차를 최소화하도록 CNNR을 최적화한다.
• 5 Hz, 10 Hz, 15 Hz, 30 Hz, 256 Hz의 샘플링 주파수를 평가하여 저속도에서의 성능 저하 정도를 분석한다.
• 심박수 추정에 대해 기존의 신호 처리 방법을 사용하는 오픈소스 HeartPy 툴킷과의 성능을 비교 기준으로 삼는다.
• 가속도계나 다중 센서 융합이 필요 없도록 광학적 PPG 데이터에만 의존한다.

실험 결과

연구 질문

• RQ1 관성 센서 없이 저샘플링 주파수에서 PPG 신호만으로 인간 활동 인식을 정확하게 수행할 수 있는가?
• RQ2 운동 간섭 현상이 존재하는 조건에서, CNN 기반의 심박수 추정 모델이 HeartPy와 같은 기존의 신호 처리 방법보다 우수한가?
• RQ3 256 Hz에서 5 Hz로 샘플링 주파수를 낮추는 것이 HAR 및 심박수 추정 정확도에 어떤 영향을 미치는가?
• RQ4 단일 최적화된 CNN 모델이 다양한 활동과 샘플링 주파수에서 안정적인 성능을 유지할 수 있는가?
• RQ5 노이즈가 많은 PPG 신호에서 심박수 추정 오차를 최소화하는 데 가장 적합한 하이퍼파라미터 조합은 무엇인가?

주요 결과

• 10 Hz 샘플링 주파수에서 HAR 모델은 83.0%의 분류 정확도를 달성하여 낮은 데이터 속도에서도 뛰어난 성능을 보였다.
• 5 Hz에서 HAR 모델은 80.2%의 정확도를 기록하여 저샘플링 주파수에서도 활동 인식 성능 저하가 크지 않음을 확인했다.
• CNNR 방법은 모든 운동과 샘플링 주파수에서 평균 심박수 추정 오차를 HeartPy의 22.59%에서 20.15%로 감소시켰다.
• 하이퍼파라미터 최적화 후 CNNR은 평균 심박수 추정 오차가 13.62%로, 최적화되지 않은 버전 대비 7퍼센트포인트 향상되었다.
• 최적화된 CNNR은 5 Hz에서도 강력한 성능을 유지했으며, 고강도 운동 시 심박수 오차는 18.90%, 걷기 시 16.47%를 기록했고, 이는 256 Hz 결과와 유사했다.
• CNNR 모델에서 10 Hz 샘플링 주파수에서 평균 심박수 추정 오차가 가장 낮았으며, 15 Hz 및 30 Hz를 모두 능가했다.