[論文レビュー] Real-Time Monitoring of User Stress, Heart Rate and Heart Rate Variability on Mobile Devices

Peyman Bateni, Leonid Sigal|arXiv (Cornell University)|Oct 4, 2022

Emotion and Mood Recognition被引用数 5

ひとこと要約

本論文では、スマートフォンのセルフィー撮影カメラのみを用いて、ユーザーのストレス、心拍数、心拍変動性をリアルタイムでオンデバイスでモニタリングするための Beam AI SDK を提示する。顔面の微細な色の変動を分析して脈波を抽出し、Baevsky ストレス指数を適用することで、心拍数推定の正確性が 99.2% に達し、ストレスおよび HRV に対して 0.801 のピアソン相関を示す。既存手法に比べてほぼ2倍の正確性と低い誤差率を達成している。

ABSTRACT

Stress is considered to be the epidemic of the 21st-century. Yet, mobile apps cannot directly evaluate the impact of their content and services on user stress. We introduce the Beam AI SDK to address this issue. Using our SDK, apps can monitor user stress through the selfie camera in real-time. Our technology extracts the user's pulse wave by analyzing subtle color variations across the skin regions of the user's face. The user's pulse wave is then used to determine stress (according to the Baevsky Stress Index), heart rate, and heart rate variability. We evaluate our technology on the UBFC dataset, the MMSE-HR dataset, and Beam AI's internal data. Our technology achieves 99.2%, 97.8% and 98.5% accuracy for heart rate estimation on each benchmark respectively, a nearly twice lower error rate than competing methods. We further demonstrate an average Pearson correlation of 0.801 in determining stress and heart rate variability, thus producing commercially useful readings to derive content decisions in apps. Our SDK is available for use at www.beamhealth.ai.

研究の動機と目的

• スマートフォンアプリにおけるリアルタイムで正確なストレスモニタリングの欠如に応えること。特に、ストレス関連疾患の世界的な負担増に鑑みたものである。
• ウェアラブルデバイスに依存するストレスモニタリングの限界、たとえば採用率の低さや、バイオメトリックデータへの第三者アクセス制限を克服すること。
• 非侵襲的かつオンデバイスでのセンシングを活用して、モバイルアプリが自らのコンテンツやサービスの生理的影響を評価できるようにすること。
• 追加のハードウェアを必要とせず、完全にオンデバイスで動作する計算効率が高く、プライバシーを守るSDKを開発すること。
• 公開ベンチマークおよび実世界のモバイル記録を用いて、システムの正確性と信頼性を検証すること。

提案手法

• システムは、スマートフォンのフロントカメラで捉えた顔面皮膚領域の微細な色の変動を分析することで、ユーザーの脈波を抽出する。
• 独自開発のピーク検出アルゴリズムが抽出された脈波を処理し、RR間隔（インターベート間隔）を算出する。このRR間隔が、心拍数、心拍変動性（SDNN）、およびストレスレベルの算出に用いられる。
• ストレスは、インターベート間隔の変動に基づく Baevsky ストレス指数を用いて定量化される。
• すべての処理はオンデバイスで実行され、ユーザーのデータがデバイス外に漏れることなく、通常のアプリ使用中にバックグラウンドで効率的に動作する。
• 評価には、UBFC、MMSE-HR、および内部の iPhone 記録の3つのデータセットを用い、Polar H10 チェストストラップと手動で検証された脈波ピークをゴールドスタンダードとして使用。
• 性能は、心拍数、HRV、ストレスの真値との比較において、MAE、MAPE、RMSE、ピアソン相関を用いて測定される。

実験結果

リサーチクエスチョン

• RQ1 スマートフォンのセルフィー撮影カメラのみを用いて、追加のハードウェアを必要とせずにリアルタイムで正確に心拍数を推定できるか？
• RQ2 同じカメラベースのアプローチが、ゴールドスタンダード測定と高い相関を示しながら、心拍変動性およびストレスレベルを信頼性高く推定できるか？
• RQ3 公開ベンチマークにおいて、提案されたSDKは、既存のリモート光容積脈波計測法と比較して正確性および誤差率で優れているか？
• RQ4 消費者向けのモバイルデバイスにおける実世界の継続的モニタリング環境でも、SDKは性能を維持できるか？
• RQ5 本システムは、メンタルヘルスおよびウェルネスアプリにおけるコンテンツやサービスの評価に実用的と見なせる正確性に達しているか？

主な発見

• UBFC データセットにおいて、Beam AI SDK は心拍数推定で 99.2% の正確性を達成し、平均絶対誤差（MAE）は 0.65 bpm にとどまり、競合手法を著しく上回った。
• MMSE-HR データセットでは、97.8% の正確性と MAE 0.77 bpm を達成し、多様なデータに対して高い頑健性を示した。
• iPhone 13 での継続的モニタリングにおいて、Polar H10 チェストストラップのゴールドスタンダード測定と比較して、ストレスおよび HRV においてピアソン相関が 0.801 を達成した。
• UBFC データセットの手動で検証された脈波ピークを用いた評価では、ストレス推定の MAE が 0.973、相関係数が 0.730 に達し、臨床基準と強い整合性を示した。
• EfficientPhys-T1 や TS-CAN といった最先端手法と比較して、心拍数推定の平均絶対誤差をほぼ2倍まで低減した。
• 本システムは高い計算効率を示し、完全にオンデバイスでの動作を実現しており、プライバシーを確保するとともに、モバイルアプリにおけるリアルタイムのバックグラウンドモニタリングを可能にした。