[論文レビュー] Efficient Deep Learning-based Estimation of the Vital Signs on Smartphones

Taha Samavati, Mahdi Farvardin+1 more|arXiv (Cornell University)|Apr 13, 2022

Telemedicine and Telehealth Implementation被引用数 6

ひとこと要約

本論文は、あらかじめ処理を必要とせず、リアルタイムでスマートフォンベースの心拍数およびSpO2の推定を実現するエンドツーエンドで完全に畳み込み型の深層学習モデルを提案する。この手法は、顕著に削減されたパラメータ数と計算複雑性を実現し、低価格端末へのデプロイを可能にするとともに、正確な状態の推定性能を達成し、地面のバイタルサインを備えた62本のスマートフォンで撮影されたPPG動画から成る公開データセットMTHSを提供する。

ABSTRACT

With the increasing use of smartphones in our daily lives, these devices have become capable of performing many complex tasks. Concerning the need for continuous monitoring of vital signs, especially for the elderly or those with certain types of diseases, the development of algorithms that can estimate vital signs using smartphones has attracted researchers worldwide. In particular, researchers have been exploring ways to estimate vital signs, such as heart rate, oxygen saturation levels, and respiratory rate, using algorithms that can be run on smartphones. However, many of these algorithms require multiple pre-processing steps that might introduce some implementation overheads or require the design of a couple of hand-crafted stages to obtain an optimal result. To address this issue, this research proposes a novel end-to-end solution to mobile-based vital sign estimation using deep learning that eliminates the need for pre-processing. By using a fully convolutional architecture, the proposed model has much fewer parameters and less computational complexity compared to the architectures that use fully-connected layers as the prediction heads. This also reduces the risk of overfitting. Additionally, a public dataset for vital sign estimation, which includes 62 videos collected from 35 men and 27 women, is provided. Overall, the proposed end-to-end approach promises significantly improved efficiency and performance for on-device health monitoring on readily available consumer electronics.

研究の動機と目的

• スマートフォンのカメラとフラッシュを用いて、バイタルサイン（心拍数およびSpO2）をリアルタイムで推定できるモバイルデプロイ可能な手法を開発すること。
• 従来の手法で一般的に見られる複雑で手作業で設計された前処理手順の必要性を排除すること。
• 全結合層を完全に畳み込み型アーキテクチャに置き換えることで、モデルの複雑さと過学習のリスクを低減すること。
• 地面のHRおよびSpO2値を備えたスマートフォンで撮影されたPPG信号の公開データセット（MTHS）を提供すること。
• 計算およびパラメータ要件の低減を通じて、低価格モバイルデバイスへのデプロイを可能にすること。

提案手法

• 提案手法は、スマートフォンのカメラとフラッシュから得られる生のRGB時系列信号を処理する完全に畳み込み型のニューラルネットワーク（FCN）アーキテクチャを用い、すべての前処理ステップを回避する。
• モデルは30 fpsで取得された動画フレームの平均赤、緑、青チャンネル値を処理し、入力として3チャンネルの1次元信号を生成する。
• 最も優れた性能を示したアーキテクチャとして、勾配の流れと学習安定性を向上させるスキップ接続を備えた残差完全畳み込み型ネットワーク（Residual FCN）が採用された。
• MSE、MAE、Huber、log-coshの複数の損失関数を用いてエンドツーエンドで学習が行われ、特にMAEとlog-coshが優れたロバストネスを示した。
• Androidスマートフォン（バージョン5.0以上）での効率的な推論を実現するため、モデル重みがTensorFlow Lite（TFLite）形式に変換された。
• アプリケーションは10秒ごとにフレームをキャプチャし、平均RGB信号を計算し、リアルタイムでバイタルサインを推論する。

実験結果

リサーチクエスチョン

• RQ1 生のスマートフォンで撮影されたPPG信号から、あらかじめ処理を一切行わずに、エンドツーエンドの深層学習モデルが心拍数およびSpO2を推定できるか？
• RQ2 全結合層を用いたモデルと比較して、完全に畳み込み型アーキテクチャはモデルのパラメータ数と計算複雑性を低減できるか？
• RQ3 提案手法は、スマートフォンベースのバイタルサイン推定において最先端の精度を達成できるか？
• RQ4 最小限の推論オーバーヘッドで、低価格のモバイルデバイスに効率的にデプロイできるか？
• RQ5 さまざまな損失関数およびアーキテクチャにおけるモデルの性能はどのように変化するか？

主な発見

• Residual FCNモデルは、MTHSテストセットにおいて心拍数推定で6.59という最小の平均絶対誤差（MAE）を達成し、他のアーキテクチャを上回った。
• 同じResidual FCNモデルは、MTHSテストセットにおいてSpO2推定で1.24のMAEを達成し、最先端の性能を示した。
• DCTベースのモデルは、ベースモデルの1/10のパラメータ数で、ベースモデルを上回るMAEを達成した。これは、パラメータ効率性を示している。
• 完全に畳み込み型アーキテクチャは、全結合層を用いたモデルと比較して、過学習のリスクと計算複雑性を低減した。
• TFLiteを用いてAndroidスマートフォンに正常にデプロイされ、10秒ごとに最小限の遅延でリアルタイム推論が可能となった。
• 地面のHRおよびSpO2値を備えた62名の被験者から得られた62本の動画から成る公開データセットMTHSが、今後の研究を支援するためにリリースされた。