[논문 리뷰] Deep Learning for Fatigue Estimation on the Basis of Multimodal Human-Machine Interactions

Yuri Gordienko, Sergii Stirenko외 4명|arXiv (Cornell University)|2017. 12. 30.

Context-Aware Activity Recognition Systems참고 문헌 12인용 수 15

한 줄 요약

이 논문은 웨어러블 센서에서 수집한 다중모달 데이터—가속도계, 심박수, 자이로스코프, 자석계, 그리고 뇌파(EEG)를 융합하는 딥 러닝 프레임워크를 제안한다. 후처리된 센서 데이터에 통계적 및 머신러닝 기법을 적용함으로써 활동 유형과 피로 패턴의 분류 성능이 향상되었으며, 딥 네URAL 네트워크가 전통적 모델보다 더 높은 정확도를 보였다.

ABSTRACT

The new method is proposed to monitor the level of current physical load and accumulated fatigue by several objective and subjective characteristics. It was applied to the dataset targeted to estimate the physical load and fatigue by several statistical and machine learning methods. The data from peripheral sensors (accelerometer, GPS, gyroscope, magnetometer) and brain-computing interface (electroencephalography) were collected, integrated, and analyzed by several statistical and machine learning methods (moment analysis, cluster analysis, principal component analysis, etc.). The hypothesis 1 was presented and proved that physical activity can be classified not only by objective parameters, but by subjective parameters also. The hypothesis 2 (experienced physical load and subsequent restoration as fatigue level can be estimated quantitatively and distinctive patterns can be recognized) was presented and some ways to prove it were demonstrated. Several "physical load" and "fatigue" metrics were proposed. The results presented allow to extend application of the machine learning methods for characterization of complex human activity patterns (for example, to estimate their actual physical load and fatigue, and give cautions and advice).

연구 동기 및 목표

• 객관적(센서 기반) 및 주관적(자기 보고) 지표를 모두 활용하여 실시간 신체 부하와 누적 피로를 모니터링할 수 있는 방법을 개발한다.
• 신체 활동이 객관적 파rameter뿐 아니라 주관적 피로 인식을 통합함으로써도 분류될 수 있는지 조사한다.
• 다중모달 센서 데이터와 머신러닝을 활용하여 신체 부하와 피로의 고유 패턴을 정량화하고 식별한다.
• 복잡한 인간 활동 패턴, 특히 피로 추정 및 개인 맞춤 피드백을 특성화하기 위해 머신러닝 응용을 확장한다.
• 클래식한 통계적 방법에 비해 딥 러닝 모델이 후처리된 센서 데이터 기반 피로 추정 정확도를 얼마나 향상시킬 수 있는지 평가한다.

제안 방법

• 삼축 가속도계, 심박수, 그리고 1채널 BCI(MindWave Mobile)와 16채널 BCI(OpenBCI)를 활용한 EEG를 포함한 웨어러블 센서를 통해 다중모달 생리적 데이터를 수집한다. 더 정확한 분석을 위해 두 가지 BCI 기기 모두 사용된다.
• 원시 센서 데이터는 순간 분석, 군집 분석, 주성분 분석을 통해 풍부한 후처리 특징으로 변환되어 의미 있는 활동 패턴을 추출한다.
• 신체 활동과 회복 단계의 분포 및 역학을 모델링하기 위해 순간 분석, 군집 분석, 부트스트래핑 등의 통계 기법을 적용한다.
• 후처리된 다중모달 데이터를 기반으로 딥 네URAL 네트워크(DNNs)를 훈련시켜 활동 강도를 분류하고 피로 수준을 예측하며, 성능 최적화를 위해 초모델 하이퍼파라미터 튜닝을 실시한다.
• 스마트폰, 스마트워치, 피트니스 트래커, MyoWare EMG 센서와 같은 전용 장치의 데이터를 다양한 신체 부위(사람, 머리, 손바닥)에서 통합한다.
• 이 접근법은 원시 센서 데이터에서 의미가 풍부한 통계적으로 분석된 특징으로의 패러다임 전환을 강조하여, 더 높은 해석 가능성과 모델 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 객관적 센서 데이터와 주관적 피로 보고를 모두 활용하여 신체 활동을 효과적으로 분류할 수 있는가?
• RQ2 다중모달 센서 데이터를 통해 신체 부하와 피로의 고유 패턴을 정량적으로 식별하고 구분할 수 있는가?
• RQ3 후처리된 센서 데이터 기반으로 딥 러닝 모델이 고전적 통계적 방법에 비해 피로 추정 정확도를 얼마나 향상시키는가?
• RQ4 EEG와 말초 생리 신호의 통합은 정신적 및 신체적 피로 탐지에 어떻게 기여하는가?
• RQ5 제안된 방법은 실생활 응용에서 과도한 운동이나 과도한 피로에 대한 개인 맞춤 피드백 및 조기 경고를 지원할 수 있는가?

주요 결과

• 후처리된 다중모달 센서 데이터를 활용하여 수동, 중간, 고강도 신체 활동을 성공적으로 구분할 수 있었다.
• 순간 분석에서 유도된 심박수 변동성과 분포 패턴은 원시 심박수 값만을 사용하는 것보다 회복 상태와 부하 강도를 더 잘 구분할 수 있었다.
• 딥 네URAL 네트워크는 전통적 모델보다 피로 추정 정확도가 높았으며, 특히 더 큰 파라미터 수를 가진 경우에 두드러진 성능 향상을 보였다. 이는 그림 10b의 손실 곡선에서 확인할 수 있다.
• OpenBCI에서 확보한 EEG 데이터 통합은 정신적 부하 추정에 유망한 성과를 보였지만, 1채널 MindWave Mobile 장치는 충분한 신뢰성을 확보하지 못해 강력한 결론 도출에 어려움이 있었다.
• 후처리된 특징는 원시 센서 데이터보다 활동 강도와 피로 축적의 미세한 변동을 더 잘 포착하여 고도화된 신호 전처리의 가치를 뒷받침한다.
• 이 프레임워크는 노인 돌봄, 장애 지원, 개인 맞춤 건강 모니터링 분야에서 행동 패턴을 의미론적 활동 카테고리로 매핑함으로써 실생활 응용 잠재력을 보였다.