[논문 리뷰] Assessing Fatigue with Multimodal Wearable Sensors and Machine Learning

Ashish Jaiswal, Mohammad Zaki Zadeh외 2명|arXiv (Cornell University)|2022. 04. 30.

Sleep and Work-Related Fatigue인용 수 6

한 줄 요약

이 연구는 기계학습을 사용하여 인지적 및 신체적 피로를 객관적으로 평가하기 위해 ECG, EDA, EMG 및 EEG를 통합한 다중모odal 웨어러블 센서 시스템을 제시한다. 원시 신호를 사용한 LSTM 모델을 통해 인지적 피로 탐지에 84.1%의 정확도와 0.90의 리콜을 달성하여 기존 최고 수준의 방법을 능가한다.

ABSTRACT

Fatigue is a loss in cognitive or physical performance due to physiological factors such as insufficient sleep, long work hours, stress, and physical exertion. It adversely affects the human body and can slow reaction times, reduce attention, and limit short-term memory. Hence, there is a need to monitor a person's state to avoid extreme fatigue conditions that can result in physiological complications. However, tools to understand and assess fatigue are minimal. This paper primarily focuses on building an experimental setup that induces cognitive fatigue (CF) and physical fatigue (PF) through multiple cognitive and physical tasks while simultaneously recording physiological data. First, we built a prototype sensor suit embedded with numerous physiological sensors for easy use during data collection. Second, participants' self-reported visual analog scores (VAS) are reported after each task to confirm fatigue induction. Finally, an evaluation system is built that utilizes machine learning (ML) models to detect states of CF and PF from sensor data, thus providing an objective measure. Our methods beat state-of-the-art approaches, where Random Forest performs the best in detecting PF with an accuracy of 80.5% while correctly predicting the true PF condition 88% of the time. On the other hand, the long short-term memory (LSTM) recurrent neural network produces the best results in detecting CF in the subjects (with 84.1% accuracy, 0.9 recall).

연구 동기 및 목표

• 표준화된 과제를 통해 인지적 및 신체적 피로를 유도할 수 있는 통제된 실험 설계를 개발하기 위해.
• 피로 유도 과정 동안 32명의 건강한 참가자로부터 다중모달 생리적 데이터(비교적 ECG, EDA, EMG, EEG)를 수집하기 위해.
• 각 과제 이후 자가 보고된 시각적 평가 척도(VAS) 점수를 사용하여 피로 상태를 검증하기 위해.
• 생리적 특징을 기반으로 기계학습 모델을 훈련시켜 인지적 및 신체적 피로 상태를 객관적으로 분류하기 위해.
• 다양한 기계학습 모델과 센서 조합의 성능을 비교하여 피로 탐지에 최적의 조합을 도출하기 위해.

제안 방법

• ECG, EDA, EMG 및 EEG 센서를 내장한 프로토타입 센서 수트를 사용하여 피로 유도 과제 동안 실시간 생리적 신호를 측정하였다.
• 참가자들은 각각 인지적 피로와 신체적 피로를 유도하기 위해 N-Back 인지 과제와 트레드밀 기반 신체 과제를 수행하였다.
• 각 과제 이후 자가 보고된 VAS 점수를 수집하여 피로 유도의 정당성을 검증하였다.
• 시간 도메인 및 주파수 도메인 기법을 사용하여 각 생리적 신호 모odal에서 통계적 특징을 추출하였다.
• Random Forest 및 LSTM과 같은 기계학습 모델을 특징 엔지니어링된 데이터와 다양한 윈도우 크기를 가진 원시 시계열 신호에 대해 훈련시켰다.
• 최적의 모델 성능를 위해 특징 차원을 189로 감소시키기 위해 주성분 분석(PCA)을 적용하였다.

실험 결과

연구 질문

• RQ1 통제된 실험 설계는 건강한 참가자에게 인지적 및 신체적 피로를 효과적으로 유도할 수 있는가?
• RQ2 ECG, EDA, EMG 및 EEG와 같은 다양한 생리적 센서 조합은 피로 탐지 정확도에 어떻게 기여하는가?
• RQ3 생리적 신호에서 인지적 피로를 탐지하는 데 가장 우수한 성능를 보이는 기계학습 모델은 무엇인가?
• RQ4 생리적 신호에서 신체적 피로를 탐지하는 데 가장 우수한 성능를 보이는 기계학습 모델은 무엇인가?
• RQ5 딥러닝 모델인 LSTM과 함께 원시 생리적 신호를 효과적으로 사용하여 수동적 특징 엔지니어링의 필요성을 제거할 수 있는가?

주요 결과

• VAS 점수 기반으로 실험 설계는 참가자의 80% 이상에서 인지적 피로를 성공적으로 유도하였고, 90% 이상에서 신체적 피로를 유도하였다.
• 원시 신호를 사용하여 모든 네 가지 센서 모달리티를 통합한 LSTM 모델이 인지적 피로 탐지에서 최고의 정확도 84.1%와 리콜 0.90을 기록하였다.
• Random Forest는 신체적 피로 탐지에서 80.5%의 정확도와 0.88의 리콜로 다른 모델과 기존 최고 수준의 접근 방식을 능가하는 최고의 성능를 보였다.
• 특징 기반 모델의 경우 10초 윈도우 크기가 최적임을 확인하였고, LSTM 모델은 전체 신호 블록에서 가장 우수한 성능를 보였다.
• 모든 네 가지 센서 모달리티를 조합하고 LSTM과 함께 원시 신호를 사용함으로써 광범위한 특징 엔지니어링의 필요성을 제거하였으며, 이는 인지적 피로 탐지에서 뛰어난 성능를 얻는 데 기여하였다.
• 제안된 방법은 기존 최고 수준의 접근 방식을 능가하였으며, 특히 리콜 측면에서 뛰어나 치명적인 피로 탐지에서 거짓 음성의 수를 최소화하였다.