[論文レビュー] Semi-Supervised Learning and Data Augmentation in Wearable-based Momentary Stress Detection in the Wild

Han Yu, Akane Sano|arXiv (Cornell University)|Feb 22, 2022

Emotion and Mood Recognition被引用数 6

ひとこと要約

本論文は、データ拡張（DA）、LSTM自己符号化器（LSTM-AE）の事前学習に無作為抽出された未ラベル付きデータを組み合わせ、一貫性正則化（CR）を適用する半教師あり学習フレームワークを提案する。このフレームワークにより、ウェアラブルセンサデータを用いた一時的ストレス検出の性能が向上し、3つの実世界データセットにおいて、教師ありベースラインと比較してF1スコアが7.7%から13.8%向上した。限られたラベル付きデータと豊富な未ラベル付き生理的・行動的信号を活用することで、顕著な性能向上が実証された。

ABSTRACT

Physiological and behavioral data collected from wearable or mobile sensors have been used to estimate self-reported stress levels. Since the stress annotation usually relies on self-reports during the study, a limited amount of labeled data can be an obstacle in developing accurate and generalized stress predicting models. On the other hand, the sensors can continuously capture signals without annotations. This work investigates leveraging unlabeled wearable sensor data for stress detection in the wild. We first applied data augmentation techniques on the physiological and behavioral data to improve the robustness of supervised stress detection models. Using an auto-encoder with actively selected unlabeled sequences, we pre-trained the supervised model structure to leverage the information learned from unlabeled samples. Then, we developed a semi-supervised learning framework to leverage the unlabeled data sequences. We combined data augmentation techniques with consistency regularization, which enforces the consistency of prediction output based on augmented and original unlabeled data. We validated these methods using three wearable/mobile sensor datasets collected in the wild. Our results showed that combining the proposed methods improved stress classification performance by 7.7% to 13.8% on the evaluated datasets, compared to the baseline supervised learning models.

研究の動機と目的

• ウェアラブルセンサデータ収集は継続的に行われるが、自己報告が希なため、ラベル付きデータが限られる、ウェアラブルベースの瞬間的ストレス検出における課題に対処すること。
• 実世界で収集された大量の未ラベル付き生理的・行動的センサデータを効果的に活用することで、モデルの汎化性能と耐性を向上させること。
• 時系列ストレスモデリングに適した、データ拡張、未ラベル付きシーケンスのアクティブサンプリング、一貫性正則化を統合した半教師ありフレームワークを構築すること。
• 異なるセンサモダリティと参加者集団を有する多様な実世界データセットにおいて、提案手法の性能を評価すること。
• サリエンシー図を用いてモデルの解釈性を向上させるとともに、ストレス予測における特徴の重要度を分析すること。

提案手法

• データ拡張（DA）、未ラベル付きシーケンスのアクティブサンプリングを伴うLSTM-AEの事前学習、一貫性正則化（CR）を統合した半教師あり学習フレームワークを提案する。
• 未ラベル付きシーケンスをアクティブに選択し、オートエンコーダーを用いて事前学習することで、ラベル付きデータでの微調整の前に、頑健な表現を学習する。
• ラベル付きデータおよび未ラベル付きデータの両方に対してデータ拡張を適用し、モデルの耐性を高めるための変換を生成する。
• 一貫性正則化を実装し、元の未ラベル付きサンプルとその拡張バージョンの間で予測が一貫するように制約を課すことで、汎化性能を向上させる。
• サリエンシー図を用いてモデルの意思決定を解釈し、ストレス予測に影響を与える主要な入力特徴を同定する。
• 長短期記憶（LSTM）ネットワークを用いて、3クラス分類（低・中・高）のストレス分類タスクを時系列モデリングに適用する。

実験結果

リサーチクエスチョン

• RQ1 未ラベル付きウェアラブルセンサデータのアクティブサンプリングは、教師ありストレス検出モデルの性能向上に寄与するか？
• RQ2 データ拡張と一貫性正則化を組み合わせることで、ストレス検出におけるモデルの耐性と精度がどのように向上するか？
• RQ3 LSTM-AEの事前学習を用いた半教師あり学習は、教師ありベースラインと比較して、どの程度F1スコアを向上させるか？
• RQ4 異なるセンサモダリティと参加者集団を有する多様な実世界データセットにおいて、特徴の重要度パターンはどのように異なるか？
• RQ5 不均一なセンサタイプとサンプリングレートを有するデータセット間でも、提案フレームワークは汎用性を示せるか？

主な発見

• 提案された半教師ありフレームワークは、3つの実世界データセットにおいて、教師ありベースラインと比較してF1スコアが7.7%から13.8%向上した。
• LSTM-AE事前学習段階で未ラベル付きシーケンスをアクティブにサンプリングした場合、ランダムサンプリングに比べて、より少ない未ラベル付きデータで優れた性能を達成した。
• データ拡張、LSTM-AE事前学習、一貫性正則化の組み合わせが、評価されたすべてのデータセットで最高のF1スコアを達成した。
• 200名を超える参加者を有するTILESデータセットは、参加者代表の範囲が広いため、最も高いF1スコアを記録した。
• サリエンシー図の分析から、皮膚電気反応、ECG特徴量、スマートフォンの使用パターン（例：エンタメアプリ）がストレス予測に重要な寄与要因であることが明らかになった。
• センサタイプ、サンプリング周波数、データモダリティの違いにより、モデル性能にばらつきが生じた。これは、汎化の課題を示している。