[论文解读] Enhancing Performance and User Engagement in Everyday Stress Monitoring: A Context-Aware Active Reinforcement Learning Approach

Seyed Amir Hossein Aqajari, Ziyu Wang+7 more|arXiv (Cornell University)|Jul 11, 2024

Mental Health Research Topics被引用 6

一句话总结

本论文提出一种基于上下文感知的深度Q学习主动强化学习框架，优化时机对压力标注的生态瞬时评估（EMAs），使用穿戴设备的PPG与手机上下文数据，在在线部署中提升效率、准确性和个性化。

ABSTRACT

In today's fast-paced world, accurately monitoring stress levels is crucial. Sensor-based stress monitoring systems often need large datasets for training effective models. However, individual-specific models are necessary for personalized and interactive scenarios. Traditional methods like Ecological Momentary Assessments (EMAs) assess stress but struggle with efficient data collection without burdening users. The challenge is to timely send EMAs, especially during stress, balancing monitoring efficiency and user convenience. This paper introduces a novel context-aware active reinforcement learning (RL) algorithm for enhanced stress detection using Photoplethysmography (PPG) data from smartwatches and contextual data from smartphones. Our approach dynamically selects optimal times for deploying EMAs, utilizing the user's immediate context to maximize label accuracy and minimize intrusiveness. Initially, the study was executed in an offline environment to refine the label collection process, aiming to increase accuracy while reducing user burden. Later, we integrated a real-time label collection mechanism, transitioning to an online methodology. This shift resulted in an 11% improvement in stress detection efficiency. Incorporating contextual data improved model accuracy by 4%. Personalization studies indicated a 10% enhancement in AUC-ROC scores, demonstrating better stress level differentiation. This research marks a significant move towards personalized, context-driven real-time stress monitoring methods.

研究动机与目标

• 通过可穿戴设备的生物信号（PPG）和手机上下文数据，推动每日压力监测的准确性和个性化。
• 通过优化在日常活动中触发EMAs的时机，降低用户负担。
• 由离线学习扩展到在线学习，以提高标注效率和模型性能。
• 评估个性化对不同个体压力检测性能的影响。

提出的方法

• 开发一个三层传感-边缘-云系统（ZotCare），用于数据采集、处理和EMA触发。
• 使用上下文感知的深度Q网络（DQN）来决定是否查询压力标签，在状态中融入不确定性、时间感知的响应性以及自上次查询以来的时间。
• 定义一个奖励结构，融合分类器不确定性、用户响应性和时序考虑，以引导EMA查询。
• 对PPG信号进行滤波、平滑、归一化，并通过HeartPy提取12个特征用于模型输入。
• 将离线上下文感知RL与随机与传统主动学习进行比较，然后实现具有实时查询与个性化的在线RL。

Figure 1. System Architecture - Offline Study

实验结果

研究问题

• RQ1 上下文感知的主动强化学习是否能够在不降低、甚至提升压力检测性能的前提下，减少不必要的EMA？
• RQ2 与离线RL相比，在线RL是否提高标注效率和压力检测准确性？
• RQ3 个性化（受试者特定数据）如何影响基于RL的标注中的压力检测性能？
• RQ4 将上下文特征与时间数据相关性引入对EMA调度和模型性能的影响是什么？

主要发现

• 在线RL在压力检测效率方面比离线方法提升了11%。
• 整合上下文数据使模型准确率提高了4%。
• 个性化研究在AUC-ROC分数上提升了10%。
• 在个性化场景中，与随机标注相比，情境感知RL将EMA查询减少最多88%。
• 离线研究从54名参与者在两个IRB批准阶段（2020年6月—2021年6月和2022年3月—2023年5月）收集了132,598个经筛选样本。
• 两阶段IRB批准协议及数据集公开发布计划。

Figure 2. Number of queries needed to reach a certain performance level during personalization.