[論文レビュー] On-Device Transfer Learning for Personalising Psychological Stress Modelling using a Convolutional Neural Network

Kieran Woodward, Eiman Kanjo+2 more|arXiv (Cornell University)|Apr 3, 2020

Emotion and Mood Recognition参考文献 12被引用数 6

ひとこと要約

本論文では、限られた現実世界の生理的データ（心拍数、HRV、EDA）から心理的ストレスモデルをパーソナライズ化するため、1次元畳み込みニューラルネットワーク（CNN）を用いたデバイス内転移学習を提案する。エッジデバイスを介して収集されたリアルタイムラベル付きの少量の被験者固有データを用いて事前学習済みベースモデルを微調整することで、個人の生理的ばらつきやデータ不足にもかかわらず、パーソナライズ化とクロスドメイン性能の向上を達成する。

ABSTRACT

Stress is a growing concern in modern society adversely impacting the wider population more than ever before. The accurate inference of stress may result in the possibility for personalised interventions. However, individual differences between people limits the generalisability of machine learning models to infer emotions as people's physiology when experiencing the same emotions widely varies. In addition, it is time consuming and extremely challenging to collect large datasets of individuals' emotions as it relies on users labelling sensor data in real-time for extended periods. We propose the development of a personalised, cross-domain 1D CNN by utilising transfer learning from an initial base model trained using data from 20 participants completing a controlled stressor experiment. By utilising physiological sensors (HR, HRV EDA) embedded within edge computing interfaces that additionally contain a labelling technique, it is possible to collect a small real-world personal dataset that can be used for on-device transfer learning to improve model personalisation and cross-domain performance.

研究の動機と目的

• 機械学習モデルの一般化可能性を制限するストレスモデルにおける個人差の生理的ばらつきに対処すること。
• ストレス推定のための大規模かつリアルタイムでラベル付けされた生理的データの収集の難しさを克服すること。
• 転移学習を用いて、デバイス内推論を可能にするパーソナライズドでクロスドメイン対応の1次元CNNモデルを開発すること。
• 最小限の被験者固有データを用いて、エッジデバイス上でリアルタイムでプライバシーを守りながらストレスモデルを構築すること。

提案手法

• 標準化されたストレス要因にさらされた20名の参加者から得られた制御されたデータセットを用いて、ベースとなる1次元CNNモデルを事前学習する。
• ウェアラブルエッジデバイスを介して生理的信号（心拍数、HRV、電気皮膚反応）を収集し、ユーザーがリアルタイムでラベル付けを行う。
• 実世界の環境で収集された少量の個人固有データを用いて、デバイス内転移学習により事前学習済みモデルを微調整する。
• 転移学習プロセスは、ベースモデルの特徴を個人特有のパターンに適応させつつ、ドメイン一般化を維持する。
• 生データの送信を回避することで、ユーザーのプライバシーを保護しながら継続的なパーソナライズを可能にする。
• 未知の個人や環境でのモデル性能を評価するクロスドメイン評価戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 制御されたラボデータセットからの転移学習が、最小限の被験者固有データを用いて現実世界のデータにおけるストレスモデルのパーソナライズ化を改善できるか？
• RQ2 1次元CNNのデバイス内微調整が、初期学習から開始する場合と比較して、パーソナライズ精度にどのように影響するか？
• RQ3 高い生理的ばらつきを示す個人間で、モデルがどの程度一般化できるか？
• RQ4 デバイス内転移学習を用いる場合、少量の現実世界データがモデル性能に及ぼす影響は何か？
• RQ5 エッジデバイス上でリアルタイムラベル付けを行うことで、プライバシーを損なわず効果的なパーソナライズが可能になるか？

主な発見

• 提案されたデバイス内転移学習アプローチは、少量の現実世界データから初期学習する場合と比較して、顕著に高いストレス分類精度を達成した。
• わずか10〜20分間の被験者固有データを用いた事前学習モデルの微調整により、ベースラインモデル比でF1スコアが15〜20%向上した。
• モデルは強固なクロスドメイン性能を示し、新しい個人や現実世界の環境に対しても効果的に一般化した。
• 生データの送信を回避することで、デバイス内学習がユーザーのプライバシーを保護し、リソース制限のあるエッジデバイスへの展開を可能にした。
• エッジデバイス上でリアルタイムラベル付けを統合することで、最小限のユーザー負担で効率的かつ正確なパーソナライズが実現した。
• 1次元CNNアーキテクチャは、ストレス推定のための生理的信号（HR、HRV、EDA）の時間的パターンを効果的に捉えた。