[論文レビュー] Enhancing Performance and User Engagement in Everyday Stress Monitoring: A Context-Aware Active Reinforcement Learning Approach

Seyed Amir Hossein Aqajari, Ziyu Wang+7 more|arXiv (Cornell University)|Jul 11, 2024

Mental Health Research Topics被引用数 6

ひとこと要約

この論文は、ウェアラブルからの PPG および文脈スマートフォンデータを用いて、ストレスラベリングのための EMA のタイミングを最適化する文脈認識型深層 Q 学習ベースのアクティブ強化学習フレームワークを提案し、オンライン展開における効率性・精度・個人化を向上させる。

ABSTRACT

In today's fast-paced world, accurately monitoring stress levels is crucial. Sensor-based stress monitoring systems often need large datasets for training effective models. However, individual-specific models are necessary for personalized and interactive scenarios. Traditional methods like Ecological Momentary Assessments (EMAs) assess stress but struggle with efficient data collection without burdening users. The challenge is to timely send EMAs, especially during stress, balancing monitoring efficiency and user convenience. This paper introduces a novel context-aware active reinforcement learning (RL) algorithm for enhanced stress detection using Photoplethysmography (PPG) data from smartwatches and contextual data from smartphones. Our approach dynamically selects optimal times for deploying EMAs, utilizing the user's immediate context to maximize label accuracy and minimize intrusiveness. Initially, the study was executed in an offline environment to refine the label collection process, aiming to increase accuracy while reducing user burden. Later, we integrated a real-time label collection mechanism, transitioning to an online methodology. This shift resulted in an 11% improvement in stress detection efficiency. Incorporating contextual data improved model accuracy by 4%. Personalization studies indicated a 10% enhancement in AUC-ROC scores, demonstrating better stress level differentiation. This research marks a significant move towards personalized, context-driven real-time stress monitoring methods.

研究の動機と目的

• ウェアラブルからの生体信号（PPG）と文脈スマートフォンデータを用いた、正確で個別化された日次のストレスモニタリングを動機づける。
• 日常活動中に EMA をトリガーするタイミングを最適化して、ユーザーの負担を軽減する。
• オフラインからオンライン学習へ拡張し、ラベリングの効率性とモデル性能を向上させる。
• 個人ごとのデータに基づくパーソナライズ効果がストレス検出性能に与える影響を評価する。

提案手法

• データ収集・処理・ EMA トリガーを行う 3 層センサー-エッジ-クラウド系（ZotCare）を開発。
• 状態に不確実性、時間応答性、直前のクエリからの経過時間を組み込んだ文脈認識型 Deep Q-Network（DQN）を用いて、ストレスラベルの照会の是非を決定する。
• 分類器の不確実性、ユーザーの応答性、タイミングを組み合わせた報酬構造を定義して EMA 照会を導く。
• 前処理として PPG 信号にフィルタリング、平滑化、正規化を施し、HeartPy を用いて 12 の特徴量を抽出してモデル入力とする。
• オフラインの文脈認識型 RL をランダム・従来型アクティブ学習と比較し、オンライン RL を実装してリアルタイム照会とパーソナライズを実現する。

Figure 1. System Architecture - Offline Study

実験結果

リサーチクエスチョン

• RQ1 文脈認識型のアクティブ強化学習は、不要な EMA を減らしつつストレス検出性能を維持または向上できるか。
• RQ2 オンライン RL はオフライン RL と比較してラベリング効率とストレス検出精度を改善するか。
• RQ3 パーソナライゼーション（個人特有データ）は RL ベースのラベリングにおけるストレス検出性能にどのように影響するか。
• RQ4 文脈的特徴と時間的データ相関を組み込むことが EMA のスケジューリングとモデル性能に与える影響はどのようか。

主な発見

• オンライン RL はオフライン手法よりストレス検出の効率を 11% 改善。
• 文脈データの組み込みによりモデル精度が 4% 向上。
• 個人化研究で AUC-ROC スコアが 10% 向上。
• 文脈認識型 RL は個人化シナリオにおける EMA 照会を最大で 88% 減らした。
• オフライン研究は 54 名の参加者から 132,598 件のフィルタ済みサンプルを、IRB承認済みの二つのフェーズ（2020年6月–2021年6月および2022年3月–2023年5月）で収集。
• データセットの二段階 IRB承認プロトコルおよび公開データリリース計画。

Figure 2. Number of queries needed to reach a certain performance level during personalization.