[論文レビュー] Optimised Convolutional Neural Networks for Heart Rate Estimation and Human Activity Recognition in Wrist Worn Sensing Applications

Eoin Brophy, Willie Muehlhausen+2 more|arXiv (Cornell University)|Mar 30, 2020

Non-Invasive Vital Sign Monitoring参考文献 16被引用数 12

ひとこと要約

本論文では、最適化された畳み込みニューラルネットワーク（CNN）を用いた、1つの光学センサーと低サンプリングレートを組み合わせた手法を提案している。この手法により、ウェアラブルデバイスにおける同時に心拍数推定とヒューマンアクティビティ認識（HAR）が可能となる。HARには転移学習を、心拍数推定にはCNN回帰を活用し、5–10 Hzのサンプリングレートでも、従来の256 Hzの手法と同等またはそれ以上の精度を達成している。これにより、性能を損なうことなく、顕著な電力およびコストの削減が実現された。

ABSTRACT

Wrist-worn smart devices are providing increased insights into human health, behaviour and performance through sophisticated analytics. However, battery life, device cost and sensor performance in the face of movement-related artefact present challenges which must be further addressed to see effective applications and wider adoption through commoditisation of the technology. We address these challenges by demonstrating, through using a simple optical measurement, photoplethysmography (PPG) used conventionally for heart rate detection in wrist-worn sensors, that we can provide improved heart rate and human activity recognition (HAR) simultaneously at low sample rates, without an inertial measurement unit. This simplifies hardware design and reduces costs and power budgets. We apply two deep learning pipelines, one for human activity recognition and one for heart rate estimation. HAR is achieved through the application of a visual classification approach, capable of robust performance at low sample rates. Here, transfer learning is leveraged to retrain a convolutional neural network (CNN) to distinguish characteristics of the PPG during different human activities. For heart rate estimation we use a CNN adopted for regression which maps noisy optical signals to heart rate estimates. In both cases, comparisons are made with leading conventional approaches. Our results demonstrate a low sampling frequency can achieve good performance without significant degradation of accuracy. 5 Hz and 10 Hz were shown to have 80.2% and 83.0% classification accuracy for HAR respectively. These same sampling frequencies also yielded a robust heart rate estimation which was comparative with that achieved at the more energy-intensive rate of 256 Hz.

研究の動機と目的

• サンプリング周波数の低減と慣性センサーの不要化により、ウェアラブル機器の電力消費とハードウェアの複雑さを低減すること。
• 生のPPG信号に対するディープラーニングを活用し、運動アーチファクトが生じる状況下でも心拍数推定の精度を向上させること。
• 加速度計や追加センサーを用いずに、光学的PPG信号のみでヒューマンアクティビティ認識を実現できることを示すこと。
• 従来の信号処理手法と比較して、低サンプリング周波数（5–30 Hz）におけるディープラーニングパイプラインの性能を評価すること。
• ノイズの多いPPGデータからのロバストな心拍数推定を実現するCNNベースの回帰モデルを最適化すること。

提案手法

• PPG信号を用いて、運動に伴う波形の変化を特徴として捉えることで、転移学習に基づくCNNを微調整し、ヒューマンアクティビティを分類する。
• 別個のCNN回帰モデル（CNNR）を訓練し、従来のフィルタリング手順を回避して、生のノイジーなPPG信号を直接心拍数にマッピングする。
• 学習率、エポック数、トレイン・テスト分割割合のハイパーパramーターサーチにより、CNNRを最適化し、心拍数推定誤差を最小化する。
• 5 Hz、10 Hz、15 Hz、30 Hz、256 Hzの各サンプリング周波数を評価し、低周波数での性能低下を分析する。
• 心拍数推定に conventional signal processing を用いるオープンソースのHeartPyツールキットと比較して、性能をベンチマークする。
• 加速度計やマルチセンサー融合を一切不要としない、光電容積脈波計（PPG）データのみに依存する手法である。

実験結果

リサーチクエスチョン

• RQ1 低サンプリングレートで慣性センサーを搭載しない状況下でも、PPG信号のみでヒューマンアクティビティ認識を正確に行うことができるか？
• RQ2 運動アーチファクトの影響下でも、HeartPyのような従来の信号処理手法に比べ、CNNベースの回帰モデルによる心拍数推定が優れているか？
• RQ3 256 Hzから5 Hzにサンプリング周波数を低下させた場合、HARおよび心拍数推定の精度にどのような影響が生じるか？
• RQ4 1つの最適化されたCNNモデルが、複数のアクティビティおよびサンプリング周波数にわたってロバストな性能を発揮できるか？
• RQ5 ノイズの多いPPG信号において、心拍数推定誤差を最小化する最適なハイパーパramータ設定は何か？

主な発見

• 10 Hzのサンプリング周波数で、HARモデルは83.0%の分類精度を達成し、低データレートでも高い性能を示した。
• 5 HzでもHARモデルは80.2%の精度を達成し、低サンプリングレートであってもアクティビティ認識の性能が著しく低下しないことが示された。
• CNNR手法により、全運動種別および全サンプリング周波数で、平均心拍数推定誤差がHeartPyの22.59%から20.15%に低下した。
• ハイパーパramータ最適化後、CNNRは平均心拍数推定誤差が13.62%にまで低下し、未最適化バージョンより7パーセンテージポイントの改善が得られた。
• 最適化されたCNNRは5 Hzでも安定した性能を維持し、高強度運動では18.90%、ウォーキングでは16.47%の心拍数誤差を示した。これは256 Hzの結果と同等の性能であった。
• CNNRモデルにおいて、10 Hzのサンプリング周波数が全テスト周波数の中で最小の心拍数推定誤差を達成し、15 Hzや30 Hzを上回った。