[論文レビュー] Generalizable machine learning for stress monitoring from wearable devices: A systematic literature review

Gideon Vos, Kelly Trinh+2 more|arXiv (Cornell University)|Sep 29, 2022

Digital Mental Health Interventions被引用数 4

ひとこと要約

本システマティックレビューでは、ウェアラブルデバイスを用いたストレスモニタリングのための機械学習モデルの一般化性能を評価する。未確認データへの一般化性能に焦点を当て、既存研究における深刻な制限要因（小規模で単一の実験設定のデータセット、一貫性のないラベル付け、一般化性能の低さ）を特定するとともに、より大規模で多様な公開データセットと標準化されたプロトコルの導入を提言し、ストレス検出モデルの実世界応用可能性を向上させる。

ABSTRACT

Introduction. The stress response has both subjective, psychological and objectively measurable, biological components. Both of them can be expressed differently from person to person, complicating the development of a generic stress measurement model. This is further compounded by the lack of large, labeled datasets that can be utilized to build machine learning models for accurately detecting periods and levels of stress. The aim of this review is to provide an overview of the current state of stress detection and monitoring using wearable devices, and where applicable, machine learning techniques utilized. Methods. This study reviewed published works contributing and/or using datasets designed for detecting stress and their associated machine learning methods, with a systematic review and meta-analysis of those that utilized wearable sensor data as stress biomarkers. The electronic databases of Google Scholar, Crossref, DOAJ and PubMed were searched for relevant articles and a total of 24 articles were identified and included in the final analysis. The reviewed works were synthesized into three categories of publicly available stress datasets, machine learning, and future research directions. Results. A wide variety of study-specific test and measurement protocols were noted in the literature. A number of public datasets were identified that are labeled for stress detection. In addition, we discuss that previous works show shortcomings in areas such as their labeling protocols, lack of statistical power, validity of stress biomarkers, and generalization ability. Conclusion. Generalization of existing machine learning models still require further study, and research in this area will continue to provide improvements as newer and more substantial datasets become available for study.

研究の動機と目的

• 公開のストレス関連ウェアラブルデータセットに学習させた機械学習モデルの一般化性能を評価すること。
• ラベル付けプロトコル、データの多様性、統計的パワーの観点から、現在のストレス検出研究における方法論的欠陥を特定すること。
• ストレス予測モデルに用いられる生理的バイオマーカー（HRV、EDA、HR）の妥当性と信頼性を評価すること。
• 未確認のデータに対しての外部妥当性の欠如、および強固なモデル学習に不可欠な大規模で多様な公開データセットの不在を強調すること。
• 一般化可能で実世界に応用可能なストレスモニタリングシステムの開発における課題と機会を提示することで、今後の研究を導くこと。

提案手法

• Google Scholar、Crossref、DOAJ、PubMedを用いたシステマティックレビューを実施し、ウェアラブルデバイスを用いたストレス検出に関する33件の関連研究を同定した。
• 研究を3つのカテゴリーに統合した：公開可能なストレスデータセット、応用された機械学習技術、今後の研究方向性。
• モデルの妥当性評価手法を評価し、外部データセットでのテストが行われないままleave-one-subject-out（LOSO）やK-fold交差検証に依存している点に注目した。
• 研究の質を保証するため、IJMEDIチェックリストを用いてメソドロジカルな厳密性を確保した。
• 特にEDAおよびHR/HRVバイオマーカーの統合の有無に注目し、特徴量エンジニアリングとモデル性能をデータセットごとに分析した。
• 時間経過に伴う報告された正解率の推移をマッピングし、モデル性能と一般化能力のトレンドを評価した。

実験結果

リサーチクエスチョン

• RQ1 現在の機械学習モデルは、未確認のデータや新たな参加者に対してどの程度一般化できるか？
• RQ2 ラベル付けプロトコルや実験条件の違いが、ストレスバイオマーカー測定の信頼性と妥当性にどのように影響するか？
• RQ3 特定の生理的バイオマーカー（例：EDA、HRV、HR）を含めることのモデル精度および一般化能力への影響は何か？
• RQ4 機械学習技術とウェアラブル技術の進歩にもかかわらず、なぜ長年にわたりモデル精度の一貫した向上が見られないのか？
• RQ5 現在の研究における主な方法論的ギャップは何か？ これらは、強固で実世界に適用可能なストレスモニタリングシステムの開発を妨げている。

主な発見

• 大多数の研究が24時間未塔の小規模で単一の実験設定のデータセットを用いており、統計的パワーと一般化可能性に制限がある。
• 完全に新しい、未確認のデータセットを異なる条件下で収集してモデルを検証した研究は少数にとどまり、一般化性能は検証されていない。
• EDAとHR（またはHRV）バイオマーカーの両方を含んだ研究では、正解率が90％以上であったが、いずれかのバイオマーカーを欠落させると正解率は86％未満に低下した。
• 過去10年間の技術的・方法論的進歩にもかかわらず、モデル精度に一貫した向上は観察されず、一般化能力の停滞が示された。
• 個人特化型モデルは汎用モデルを上回る性能を示し、高精度なストレス予測には個別レベルの適応が不可欠である可能性を示唆した。
• データ収集、ラベル付け、デバイスの装着位置に関する標準化されたガイドラインの不在が、信頼性と再現性のあるストレスモニタリングの主要な障壁である。