[논문 리뷰] Personalized Driver Stress Detection with Multi-task Neural Networks using Physiological Signals

Aaqib Saeed, Stojan Trajanovski|arXiv (Cornell University)|2017. 11. 15.

Emotion and Mood Recognition참고 문헌 14인용 수 13

한 줄 요약

이 논문은 손목에 착용하는 생리적 신호인 스위트 전도도와 심박수를 사용하여 개인화된 운전사 스트레스 감지를 위한 하드 파rameter 공유와 주제별 헤드를 갖춘 다중 작업 신경망을 제안한다. 이 방법은 실제 주행 데이터에서 F-스코어 0.965와 캄파 0.879를 기록하여 전역 모델에 비해 개인 간 일반화 능력이 뛰어나 상태의 기술 성능를 달성한다.

ABSTRACT

Stress can be seen as a physiological response to everyday emotional, mental and physical challenges. A long-term exposure to stressful situations can have negative health consequences, such as increased risk of cardiovascular diseases and immune system disorder. Therefore, a timely stress detection can lead to systems for better management and prevention in future circumstances. In this paper, we suggest a multi-task learning based neural network approach (with hard parameter sharing of mutual representation and task-specific layers) for personalized stress recognition using skin conductance and heart rate from wearable devices. The proposed method is tested on multi-modal physiological responses collected during real-world and simulator driving tasks.

연구 동기 및 목표

• 운전 중 생리적 스트레스 반응의 개인 간 변동성을 다루기 위한 도전 과제를 해결하기 위해.
• 피부 전도도와 심박수와 같은 유일한 웨어러블 비침습적 센서를 사용하여 개인화된 스트레스 감지 시스템을 개발하기 위해.
• 개개인의 특성을 반영하기 위해 다중 작업 학습을 활용하고 주어진 주제를 개별 작업으로 삼아 운전자 간 일반화 능력을 향상시키기 위해.
• 실제 주행 환경과 시뮬레이션 주행 환경에서의 성능 평가를 통해 방법의 강건성과 실제 적용 가능성 여부를 점검하기 위해.

제안 방법

• 공유 레이어는 모든 운전자 간 공통된 표현을 학습하고, 작업별(주제별) 레이어는 개인의 차이를 반영하기 위해 설계된 다중 작업 신경망 아키텍처를 사용한다.
• 공유 브랜치와 주제별 브랜치 간 하드 파arameter 공유를 적용하여 지식 전이를 가능하게 하면서도 개인화를 유지한다.
• 웨어러블 기기에서 수집한 다중 모odal 생리적 신호인 피부 전도도와 심박수를 기반으로 모델을 종합적으로 훈련한다.
• 데이터 전처리 과정으로 아티팩트 제거, 신호의 15.5 Hz로 다운샘플링, 마커 신호를 사용한 명확하지 않은 세그먼트 제거를 통해 참값 정의를 수행한다.
• 하이퍼파ram터 튜닝과 평가를 위해 80/20 주제 기반 데이터 분할과 5중 교차 검증을 사용한다.
• 기준 모델로는 로지스틱 회귀, SVM(선형 및 RBF), 단일 작업 신경망(ST-NN)을 사용하여 비교 평가를 수행한다.

실험 결과

연구 질문

• RQ1 주제를 작업으로 삼는 다중 작업 학습 접근법이 전역 모델에 비해 개인화된 스트레스 감지 성능을 향상시키는가?
• RQ2 제안된 방법의 성능는 실제 주행 환경과 시뮬레이션 주행 환경 간에 어떻게 달라지나?
• RQ3 피부 전도도와 심박수 신호만으로 다양한 운전자에서 정확한 스트레스 감지를 가능하게 하는가?
• RQ4 주제별 레이어를 사용할 경우 공유 모델에 비해 개인 간 성능 변동성이 감소하는가?
• RQ5 다양한 데이터 수집 환경에서의 혼합 데이터로 훈련된 모델이 효과적으로 일반화되는가?

주요 결과

• MIT Driver Stress 데이터셋에서 다중 작업 신경망(MT-NN)은 F-스코어 0.965 ± 0.023과 캄파 0.879 ± 0.080를 기록하여 모든 기준 모델을 능가했다.
• MT-NN는 주제 간 성능의 표준편차가 감소하여 표준 분류기 대비 더 뛰어난 강건성과 일관성을 보였다.
• 시뮬레이터 주행 데이터셋에서 MT-NN는 F-스코어 0.922 ± 0.137과 캄파 0.891 ± 0.184를 기록했으며, 다음으로 성능이 좋은 모델인 ST-NN(F-스코어 0.801 ± 0.243)에 비해 유의미하게 뛰어났다.
• 실제 주행과 시뮬레이션 주행 조건에서 일관된 성능을 보이며 환경 간 일반화 잠재력이 있음을 시사했다.
• 다양한 개인 간 생리적 스트레스 반응의 변동성을 다루기 위해 다중 작업 학습을 통한 개인화 모델링이 필수적임을 확인했다.
• 주제 인식 학습과 결합된 신뢰할 수 있는 비침습적 신호(피부 전도도와 심박수)만으로도 고정밀도 스트레스 감지가 가능함을 확인했다.