[논문 리뷰] Enhancing Performance and User Engagement in Everyday Stress Monitoring: A Context-Aware Active Reinforcement Learning Approach

Seyed Amir Hossein Aqajari, Ziyu Wang외 7명|arXiv (Cornell University)|2024. 07. 11.

Mental Health Research Topics인용 수 6

한 줄 요약

이 논문은 웨어러블의 PPG와 컨텍스트 스마트폰 데이터를 이용한 스트레스 라벨링을 위해 맥락 인식형 딥 Q-러닝 기반의 활성 강화 학습 프레임워크를 제안하며, 온라인 배포에서 효율성, 정확도 및 개인화를 향상시킨다.

ABSTRACT

In today's fast-paced world, accurately monitoring stress levels is crucial. Sensor-based stress monitoring systems often need large datasets for training effective models. However, individual-specific models are necessary for personalized and interactive scenarios. Traditional methods like Ecological Momentary Assessments (EMAs) assess stress but struggle with efficient data collection without burdening users. The challenge is to timely send EMAs, especially during stress, balancing monitoring efficiency and user convenience. This paper introduces a novel context-aware active reinforcement learning (RL) algorithm for enhanced stress detection using Photoplethysmography (PPG) data from smartwatches and contextual data from smartphones. Our approach dynamically selects optimal times for deploying EMAs, utilizing the user's immediate context to maximize label accuracy and minimize intrusiveness. Initially, the study was executed in an offline environment to refine the label collection process, aiming to increase accuracy while reducing user burden. Later, we integrated a real-time label collection mechanism, transitioning to an online methodology. This shift resulted in an 11% improvement in stress detection efficiency. Incorporating contextual data improved model accuracy by 4%. Personalization studies indicated a 10% enhancement in AUC-ROC scores, demonstrating better stress level differentiation. This research marks a significant move towards personalized, context-driven real-time stress monitoring methods.

연구 동기 및 목표

• 웨어러블에서 얻은 생체 신호(PPG)와 컨텍스트 스마트폰 데이터를 활용한 정확하고 개인화된 일상 스트레스 모니터링의 동기를 부여한다.
• 일상 활동 중 EMAs를 트리거하는 시점을 최적화하여 사용자 부담을 줄인다.
• 오프라인에서 온라인 학습으로 확장하여 라벨링 효율성과 모델 성능을 개선한다.
• 개인별 스트레스 탐지 성능에 대한 개인화 효과를 평가한다.

제안 방법

• 데이터 수집, 처리 및 EMA 트리거를 위한 3층 센서-에지-클라우드 시스템(ZotCare)을 개발한다.
• 상황 인식 딥 Q-네트워크(DQN)를 사용하여 스트레스 라벨을 질의할지 여부를 결정하고, 상태에 불확실성, 시간 인식 응답성, 마지막 질의 이후 경과 시간을 반영한다.
• 분류기 불확실성, 사용자 반응성, 시간 관리 등을 혼합한 보상 구조를 정의하여 EMA 질의를 안내한다.
• 필터링, 스무딩, 정규화로 PPG 신호를 전처리하고 HeartPy를 통해 12개의 특징을 추출하여 모델 입력으로 사용한다.
• 오프라인 맥락 인식 RL과 무작위 및 전통적 능동 학습을 비교하고, 실시간 질의와 개인화를 통한 온라인 RL을 구현한다.

Figure 1. System Architecture - Offline Study

실험 결과

연구 질문

• RQ1 맥락 인식형 활성 강화 학습이 불필요한 EMA를 줄이면서 스트레스 탐지 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 온라인 RL이 오프라인 RL에 비해 라벨링 효율성과 스트레스 탐지 정확도를 향상시키는가?
• RQ3 개인화(피험자별 데이터)가 RL 기반 라벨링에서 스트레스 탐지 성능에 어떠한 영향을 미치는가?
• RQ4 맥락 특성 및 시간 데이터 상관관계의 통합이 EMA 일정과 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 온라인 RL이 오프라인 방법에 비해 스트레스 탐지 효율성을 11% 향상시켰다.
• 맥락 데이터의 통합으로 모델 정확도가 4% 향상되었다.
• 개인화 연구는 AUC-ROC 점수에서 10% 향상을 보였다.
• 맥락 인식 RL은 개인화 시나리오에서 무작위 라벨링과 비교하여 EMA 질의를 최대 88%까지 감소시켰다.
• 오프라인 연구는 2개의 IRB 승인 단계(2020년 6월–2021년 6월 및 2022년 3월–2023년 5월)에서 54명의 참가자로부터 132,598개의 필터링된 샘플을 수집했다.
• 두 단계의 IRB 승인 프로토콜 및 데이터셋의 공개 데이터 릴리스 계획.

Figure 2. Number of queries needed to reach a certain performance level during personalization.