[논문 리뷰] Generalizable machine learning for stress monitoring from wearable devices: A systematic literature review

Gideon Vos, Kelly Trinh외 2명|arXiv (Cornell University)|2022. 09. 29.

Digital Mental Health Interventions인용 수 4

한 줄 요약

이 체계적 문헌 고찰은 스트레스 모니터링을 위한 기계학습 모델을 웨어러블 기기로 평가하며, 미리 보지 않은 데이터에 대한 모델 일반화 능력에 초점을 맞춘다. 기존 연구에서 나타나는 핵심적 한계점으로는 소규모 단일 설정 데이터셋, 일관성 없는 레이블링, 낮은 일반화 능력 등을 밝혀내며, 실제 적용 가능성을 높이기 위해 더 큰 크기의 다양한 공공 데이터셋과 표준화된 프로토콜의 필요성을 주장한다.

ABSTRACT

Introduction. The stress response has both subjective, psychological and objectively measurable, biological components. Both of them can be expressed differently from person to person, complicating the development of a generic stress measurement model. This is further compounded by the lack of large, labeled datasets that can be utilized to build machine learning models for accurately detecting periods and levels of stress. The aim of this review is to provide an overview of the current state of stress detection and monitoring using wearable devices, and where applicable, machine learning techniques utilized. Methods. This study reviewed published works contributing and/or using datasets designed for detecting stress and their associated machine learning methods, with a systematic review and meta-analysis of those that utilized wearable sensor data as stress biomarkers. The electronic databases of Google Scholar, Crossref, DOAJ and PubMed were searched for relevant articles and a total of 24 articles were identified and included in the final analysis. The reviewed works were synthesized into three categories of publicly available stress datasets, machine learning, and future research directions. Results. A wide variety of study-specific test and measurement protocols were noted in the literature. A number of public datasets were identified that are labeled for stress detection. In addition, we discuss that previous works show shortcomings in areas such as their labeling protocols, lack of statistical power, validity of stress biomarkers, and generalization ability. Conclusion. Generalization of existing machine learning models still require further study, and research in this area will continue to provide improvements as newer and more substantial datasets become available for study.

연구 동기 및 목표

• 공개된 스트레스 관련 웨어러블 데이터셋을 기반으로 학습된 기계학습 모델의 일반화 성능을 평가하기 위해.
• 현재 스트레스 탐지 연구에서의 방법론적 한계점, 즉 레이블링 프로토콜, 데이터 다양성, 통계적 검정력 등을 규명하기 위해.
• 스트레스 예측 모델에서 사용된 생리학적 생체지표(예: HRV, EDA, HR)의 타당성과 신뢰성 평가하기 위해.
• 미리 보지 않은 데이터에 대한 외부 검증 부족과 강력한 모델 훈련을 위한 대규모 다각도 공공 데이터셋의 부재를 부각하기 위해.
• 일반화 가능하고 실제 적용 가능한 스트레스 모니터링 시스템 개발을 위한 도전 과제와 기회를 제시함으로써 향후 연구를 이끌기 위해.

제안 방법

• Google Scholar, Crossref, DOAJ, PubMed를 활용해 웨어러블 기기를 통한 스트레스 탐지 관련 33개의 관련 연구를 식별하기 위해 체계적 문헌 고찰을 수행하였다.
• 연구를 세 가지 범주로 통합: 공개된 스트레스 데이터셋, 적용된 기계학습 기법, 향후 연구 방향.
• 모델 검증 접근 방식을 평가하며, 외부 데이터셋 테스트 없이 이전의 사람을 제외한 교차검증(LOSO) 또는 K-폴드 교차검증에 의존하는 경향을 강조하였다.
• 포괄된 연구의 방법론적 엄밀함을 확보하기 위해 IJMEDI 체크리스트를 활용해 연구 품질을 평가하였다.
• 특히 EDA 및 HR/HRV 생체지표 포함 여부에 초점을 맞춰 특징 공학 및 모델 성능을 데이터셋 간 분석하였다.
• 시간에 따른 보고된 정확도율을 맵핑하여 모델 성능 및 일반화 능력 향방을 평가하였다.

실험 결과

연구 질문

• RQ1 기존의 기계학습 모델이 스트레스 탐지에 있어 새로운 데이터와 새로운 참가자에게 얼마나 잘 일반화되는가?
• RQ2 레이블링 프로토콜 및 실험 조건의 변동이 생체지표 측정의 신뢰성과 타당성에 어떤 영향을 미치는가?
• RQ3 특정 생리학적 생체지표(예: EDA, HRV, HR)를 포함할 경우 모델 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ4 최근 10년간 기계학습 및 웨어러블 기술의 발전에도 불구하고, 왜 정확도 향상이 일관되게 관찰되지 않는가?
• RQ5 현재 연구에서 뚜렷한 방법론적 격차가 무엇인지, 이로 인해 강력하고 실제 적용 가능한 스트레스 모니터링 시스템 개발이 저해되는가?

주요 결과

• 다수의 연구가 24시간 이내의 소규모 단일 실험 설정 데이터셋을 사용하여 통계적 검정력과 일반화 가능성을 제한하였다.
• 모델을 완전히 새로운 조건에서 수집된 새로운 데이터셋에 대해 검증한 연구는 소수에 불과하여 일반화 능력은 검증되지 않은 상태였다.
• EDA와 HR(또는 HRV) 생체지표를 모두 포함한 연구는 정확도가 90% 이상을 기록한 반면, 어느 하나라도 생략할 경우 정확도는 86% 이하로 떨어졌다.
• 최근 10년간의 기술적·방법론적 발전에도 불구하고, 정확도 향상의 일관성 있는 추세를 관찰할 수 없었으며, 일반화 능력 향상에 정체가 있음을 시사한다.
• 개인별 최적화된 모델이 일반 모델보다 성능이 뛰어나, 고정밀도 스트레스 예측을 위해서는 개인 수준의 적응이 필수적일 수 있음을 시사한다.
• 데이터 수집, 레이블링, 기기 배치에 대한 표준화된 지침의 부재는 신뢰성 있고 재현 가능한 스트레스 모니터링을 위한 주요 장벽으로 남아 있다.