[논문 리뷰] EmoSens: Emotion Recognition based on Sensor data analysis using LightGBM

S Gayathri, Akshat Anand외 5명|arXiv (Cornell University)|2022. 07. 12.

Emotion and Mood Recognition인용 수 4

한 줄 요약

이 논문은 스마트 웨어러블에서 수집한 센서 데이터와 지도 학습 기반 기계 학습을 사용하여 저비용이고 사용자 중심의 정서 인식 시스템인 EmoSens를 제안한다. DREAMER 데이터셋을 활용해 LightGBM와 XGBoost를 적용하여 9개의 정서 클래스를 분류하는 데 92.5%의 정확도를 달성하였으며, 실시간 정서 모니터링 응용 프로그램에 있어 높은 성능과 낮은 계산 부하를 보여주었다.

ABSTRACT

Smart wearables have played an integral part in our day to day life. From recording ECG signals to analysing body fat composition, the smart wearables can do it all. The smart devices encompass various sensors which can be employed to derive meaningful information regarding the user's physical and psychological conditions. Our approach focuses on employing such sensors to identify and obtain the variations in the mood of a user at a given instance through the use of supervised machine learning techniques. The study examines the performance of various supervised learning models such as Decision Trees, Random Forests, XGBoost, LightGBM on the dataset. With our proposed model, we obtained a high recognition rate of 92.5% using XGBoost and LightGBM for 9 different emotion classes. By utilizing this, we aim to improvise and suggest methods to aid emotion recognition for better mental health analysis and mood monitoring.

연구 동기 및 목표

• 시장에 유통되는 스마트 웨어러블 센서를 사용하여 비용 효율적이고 사용자 중심의 정서 인식 시스템을 개발하기.
• ECG 및 기타 생리적 신호를 기반으로 한 생리적 센서 데이터에 대해 LightGBM 및 XGBoost를 포함한 여러 지도 학습 기반 기계 학습 모델의 성능을 평가하기.
• DREAMER 데이터셋에서 제공하는 ECG 및 기타 생리적 신호를 활용하여 9개의 구분 가능한 정서 클래스를 높은 정확도로 인식하기.
• 향후 페더레이티드 러닝을 통합하여 사용자 기기에서의 학습을 지원하고 개인정보 보호를 강화함으로써, 저비용의 에지 기반 정서 모니터링을 실현하기.

제안 방법

• 연구는 정서 유도 자극 동안 생리적 신호를 측정한 DREAMER 데이터셋을 사용하며, 자가 보고된 정서 레이블은 Self Assessment Manikin (SAM) 척도를 통해 제공된다.
• 전처리 단계로는 노이즈 감소 및 ECG 및 기타 센서 신호의 정규화를 수행하여 신호 품질과 일관성을 향상시킨다.
• 심박수 변동성(HRV) 및 시간 도메인/주파수 도메인 특징과 같은 핵심 특징을 전처리된 신호에서 추출하여 정서 상태를 표현한다.
• 추출된 특징을 기반으로 LightGBM, XGBoost, Random Forest, 결정 트리, SVM, 신경망 등의 여러 지도 학습 모델을 훈련 및 평가한다.
• 특히 결정 트리 및 Random Forest의 성능을 향상시키기 위해 초모수 튜닝을 적용하여 정확도를 각각 5%와 0.9% 향상시켰다.
• 프레임워크는 엣지 기기에서의 구현을 고려하여 설계되었으며, 향후 페더레이티드 러닝 통합을 통해 기기 내 학습을 지원하고 사용자 개인정보 보호를 강화할 계획이다.

실험 결과

연구 질문

• RQ1 스마트 웨어러블에서 수집한 생리적 센서 데이터를 사용하여 LightGBM과 XGBoost가 9개의 구분 가능한 정서 클래스를 효과적으로 분류할 수 있는가?
• RQ2 ECG 및 관련 신호를 기반으로 한 정서 인식에 있어, 다양한 지도 학습 기반 기계 학습 모델 간의 정확도 및 계산 효율성은 어떻게 비교되는가?
• RQ3 초모수 튜닝이 이와 같은 맥락에서 결정 트리 및 Random Forest와 같은 트리 기반 모델의 성능 향상에 얼마나 기여하는가?
• RQ4 저비용의 엣지 배포가 가능한 정서 인식 시스템이 낮은 계산 부하를 유지하면서도 높은 정확도를 달성할 수 있는가?
• RQ5 페더레이티드 러닝은 스마트 웨어러블 센서 데이터를 활용한 실시간 정서 모니터링에서 개인정보 보호와 개인 맞춤화를 어떻게 향상시킬 수 있는가?

주요 결과

• LightGBM와 XGBoost는 9개의 정서 클래스를 분류하는 데 92.5%의 최고 정확도를 기록하여 SVM 및 신경망과 같은 다른 모델들을 압도적으로 앞섰다.
• Random Forest는 튜닝 이전에 91.39%의 정확도를 기록했으며, 초모수 최적화 이후 92.22%의 정확도로 향상되었고, F-score는 91.95%로 개선되었다.
• 결정 트리는 튜닝 이전에 87.5%의 정확도를 기록했으며, 초모수 튜닝 이후 92.5%로 상승하여 최적화 잠재력이 높다는 점을 입증했다.
• SVM 모델, 특히 RBF-SVM는 55.28%의 정확도로 중간 수준의 성능을 보였지만, 선형 SVM는 심각하게 성능이 열등하여 데이터가 선형으로 분리되지 않는다는 점을 시사한다.
• 신경망과 나이브 베이즈는 정확도가 45% 이하로 낮아 이 특정 데이터셋과 작업에 적합하지 않다는 점을 보여주었다.
• LightGBM 및 XGBoost의 학습 곡선은 검증 세트에서 일관된 향상을 보이며 강력한 일반화 능력과 견고성을 입증했다.