[논문 리뷰] On-Device Transfer Learning for Personalising Psychological Stress Modelling using a Convolutional Neural Network

Kieran Woodward, Eiman Kanjo외 2명|arXiv (Cornell University)|2020. 04. 03.

Emotion and Mood Recognition참고 문헌 12인용 수 6

한 줄 요약

이 논문은 한정된 실생활 생리적 데이터(HR, HRV, EDA)를 바탕으로 개인화된 심리적 스트레스 모델링을 위해 1D 컨volutional 신경망(CNN)을 사용한 디바이스 내 전이 학습을 제안한다. 실시간 레이블링을 통해 엣지 디바이스에서 수집한 소규모 개인 맞춤 데이터셋을 기반으로 사전 훈련된 기반 모델을 미세조정함으로써, 개인 간 생리적 변동성과 데이터 부족에도 불구하고 개선된 개인화 및 교차 도메인 성능을 달성한다.

ABSTRACT

Stress is a growing concern in modern society adversely impacting the wider population more than ever before. The accurate inference of stress may result in the possibility for personalised interventions. However, individual differences between people limits the generalisability of machine learning models to infer emotions as people's physiology when experiencing the same emotions widely varies. In addition, it is time consuming and extremely challenging to collect large datasets of individuals' emotions as it relies on users labelling sensor data in real-time for extended periods. We propose the development of a personalised, cross-domain 1D CNN by utilising transfer learning from an initial base model trained using data from 20 participants completing a controlled stressor experiment. By utilising physiological sensors (HR, HRV EDA) embedded within edge computing interfaces that additionally contain a labelling technique, it is possible to collect a small real-world personal dataset that can be used for on-device transfer learning to improve model personalisation and cross-domain performance.

연구 동기 및 목표

• 기계 학습 모델의 일반화 능력을 제한하는 스트레스 모델링에서의 개인 생리적 변동성 문제를 해결하기 위해.
• 스트레스 추론을 위한 대규모 실시간 레이블링 생리적 데이터 수집의 어려움을 극복하기 위해.
• 전이 학습을 활용한 디바이스 내 추론을 위한 개인화되고 교차 도메인 가능한 1D CNN 모델을 개발하기 위해.
• 최소한의 개인 맞춤 데이터를 사용해 엣지 디바이스에서 실시간으로 개인정보 보호가 가능한 스트레스 모델링을 가능하게 하기 위해.

제안 방법

• 20명의 참가자가 표준화된 스트레스 자극을 받는 제어된 데이터셋에서 1D CNN 기반 모델을 사전 훈련한다.
• 심박수, HRV, 전도성 활동 등 생리 신호를 실시간 사용자 레이블링과 함께 웨어러블 엣지 디바이스를 통해 수집한다.
• 실생활 환경에서 수집한 소규모 개인 맞춤 데이터셋을 기반으로 디바이스 내 전이 학습을 통해 사전 훈련된 모델을 미세조정한다.
• 전이 학습 과정은 기반 모델의 특징을 개인별 패턴에 맞게 적응시키면서도 도메인 일반화 능력을 유지한다.
• 원시 데이터 전송 없이도 지속적인 개인화가 가능해져 사용자 개인정보 보호를 보장한다.
• 새로운 개인과 환경에서의 성능을 평가하기 위해 교차 도메인 평가 전략을 적용한다.

실험 결과

연구 질문

• RQ1 제어된 실험실 데이터셋에서의 전이 학습이 소규모 개인 맞춤 데이터로만 실생활 데이터에서 개인화된 스트레스 모델링 성능을 향상시키는가?
• RQ2 1D CNN의 디바이스 내 미세조정이 소규모 데이터에서 처음부터 훈련하는 것에 비해 개인화 정확도에 어떤 영향을 미치는가?
• RQ3 높은 생리적 변동성을 보이는 개인 간에서 모델이 얼마나 잘 일반화되는가?
• RQ4 디바이스 내 전이 학습을 사용할 경우 소규모 실생활 데이터셋이 모델 성능에 어떤 영향을 미치는가?
• RQ5 엣지 디바이스에서 실시간 레이블링이 개인정보를 훼손하지 않으면서도 효과적인 개인화를 가능하게 하는가?

주요 결과

• 제안된 디바이스 내 전이 학습 접근법은 소규모 실생활 데이터에서 처음부터 훈련하는 것에 비해 개인화된 스트레스 분류 정확도를 크게 향상시킨다.
• 단지 10~20분의 개인 맞춤 데이터로 사전 훈련된 모델을 미세조정한 결과, 기준 모델 대비 F1 점수 15~20% 향상됨.
• 모델은 강력한 교차 도메인 성능을 보였으며, 새로운 개인과 실생활 환경으로의 일반화가 효과적으로 이루어졌다.
• 디바이스 내 훈련을 통해 원시 데이터 전송 없이도 사용자 개인정보 보호가 유지되어 자원이 제한된 엣지 디바이스에의 배포가 가능했다.
• 엣지 디바이스에서 실시간 레이블링을 통합함으로써 최소한의 사용자 부담으로 효율적이고 정확한 개인화가 가능했다.
• 1D CNN 아키텍처는 심박수, HRV, EDA 등의 생리 신호에서 시간적 패턴을 효과적으로 포착하여 스트레스 추론에 기여했다.