[논문 리뷰] Multi-scale Transformer-based Network for Emotion Recognition from Multi Physiological Signals

Tu Vu, Van Thong Huynh외 1명|arXiv (Cornell University)|2023. 05. 01.

Emotion and Mood RecognitionPsychology참고 문헌 31인용 수 3

한 줄 요약

이 논문은 다중 척도 트랜스포머 기반의 딥러닝 모델을 제안하여 다중 모odal 생리 신호에서 연속적인 정서 인식을 수행한다. 다중 척도 특징 추출과 가우시안 변환을 활용하여 표현 학습을 향상시킨다. 모델은 EPiC 2023 경쟁 대회 기준에서 RMSE 1.45를 기록하여 다양한 평가 시나리오에서 뛰어난 성능을 보이며, 특히 인물 간 설정에서 두드러진다.

ABSTRACT

This paper presents an efficient Multi-scale Transformer-based approach for the task of Emotion recognition from Physiological data, which has gained widespread attention in the research community due to the vast amount of information that can be extracted from these signals using modern sensors and machine learning techniques. Our approach involves applying a Multi-modal technique combined with scaling data to establish the relationship between internal body signals and human emotions. Additionally, we utilize Transformer and Gaussian Transformation techniques to improve signal encoding effectiveness and overall performance. Our model achieves decent results on the CASE dataset of the EPiC competition, with an RMSE score of 1.45.

연구 동기 및 목표

• 다중 모달 생리 신호의 시간적 및 다중 척도 패턴을 효과적으로 포착할 수 있는 엔드 투 엔드 딥러닝 아키텍처를 개발하는 것.
• 다양한 척도 특징 추출 및 강력한 신호 인코딩 기법을 통합하여 노이즈가 많고 비정상적인 생리 신호의 과제를 해결하는 것.
• 주의 메커니즘과 확장 가능한 특징 학습을 활용하여 참가자 간 및 정서 자극 간 일반화 능력을 향상시키는 것.
• 실시간 생리 데이터에서 순간별 밸런스 및 각성도 애너테이션을 제공하는 EPiC 2023 경쟁 대회 데이터셋에서 모델 성능을 평가하는 것.
• 다양한 데이터 분할 전략(시간 기반, 참가자 기반, 자극 기반, 버전 기반)이 모델의 강건성과 일반화 능력에 미치는 영향을 조사하는 것.

제안 방법

• 모델는 4개의 어텐션 헤드와 1024개의 히든 차원을 가진 다중 척도 트랜스포머 인코더를 사용하여 생리 신호에서 계층적 표현을 추출한다.
• 다중 척도 특징 추출 기법을 적용하여 ECG, BVP, EMG_CORU, EMG_TRAP, EMG_ZYGO, GSR, RSP, SKT 등 총 8종의 생리 신호에서 국소적이고 전역적인 시간 패턴을 포착한다.
• 입력 신호에 가우시안 변환을 적용하여 신호 인코딩을 향상시키고 노이즈 및 비정상성에 대한 모델의 강건성을 높인다.
• 모델는 10 에포크 동안 코사인 안내 냉각 재시작을 사용하는 AdamW 옵timizer를 통해 엔드 투 엔드로 훈련되며, 평균 제곱 오차(MSE) 손실을 최소화한다.
• 시퀀스 길이는 2048로 고정되며, 모델는 시간 기반, 참가자 기반, 자극 기반, 버전 기반의 네 가지 별도 시나리오에서 평가된다.
• 아키텍처는 텐서플로우를 사용하여 구현되었으며, 단일 GTX 3090 GPU에서 훈련되어 고해상도 생리 시퀀스의 효율적 처리를 가능하게 한다.

Figure 1: An overview of our proposed architecture.

실험 결과

연구 질문

• RQ1 기존 방법들과 비교해 볼 때, 다중 척도 트랜스포머 기반 아키텍처는 다중 모달 생리 신호에서 연속적인 밸런스 및 각성도를 얼마나 잘 모델링할 수 있는가?
• RQ2 다중 척도 특징 추출과 가우시안 변환은 노이즈가 많은 생리 데이터에서 정서 인식의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ3 특히 참가자 간 및 미리 보지 않은 정서 자극에 대해 모델의 일반화 능력은 어떻게 되는가?
• RQ4 영상 시청 중에 수집된 실시간 생리 신호에서 정서 변화의 시간적 동역학을 효과적으로 학습할 수 있는가?
• RQ5 주의 메커니즘과 다중 헤드 자기주의는 생리 신호 시퀀스 내 복잡한 비선형 관계를 포착하는 데 기여하는 정도는 어떠한가?

주요 결과

• 제안된 모델은 EPiC 2023 경쟁 대회의 테스트 세트에서 총 RMSE 1.45를 기록하여 연속 정서 회귀에서 뛰어난 성능을 보였다.
• 가장 높은 성능은 참가자 간 설정에서 관찰되었으며, 각성도의 경우 RMSE 1.336, 밸런스의 경우 RMSE 1.345를 기록하여 미리 보지 않은 개인에 대한 강력한 일반화 능력을 보였다.
• 참가자 간 설정에서 저표준편차(각성도 0.2276, 밸런스 0.0576)를 보이며 높은 일관성과 신뢰성을 나타냈다.
• 자극 간 설정에서는 성능이 저하되었으며, 각성도의 경우 RMSE 1.509, 밸런스의 경우 RMSE 1.514를 기록하여 이전에 보지 않은 정서 자극에 대한 일반화 능력이 제한됨을 시사했다.
• 버전 간 설정에서는 각성도의 경우 RMSE 1.369, 밸런스의 경우 RMSE 1.352를 기록하여 동일한 정서 자극의 다른 버전에서 중간 수준의 성능을 보였다.
• 시간 기반 설정 결과(각성도 RMSE 1.503, 밸런스 RMSE 1.639)는 모델가 이전 데이터로부터 후속 정서 상태를 예측하는 데 어려움을 겪고 있음을 시사하며, 시간적 일반화 과제를 강조한다.