[논문 리뷰] HetEmotionNet: Two-Stream Heterogeneous Graph Recurrent Neural Network for Multi-modal Emotion Recognition

Ziyu Jia, Youfang Lin외 4명|arXiv (Cornell University)|2021. 08. 07.

Emotion and Mood Recognition참고 문헌 60인용 수 15

한 줄 요약

HetEmotionNet는 다중 모odal 생리 신호—뇌파(EEG)와 말초 생리 신호(PPS)—로부터 공간-스펙트럼-시간 특징을 융합하는 이중 스트림 이종 그래프 순환 신경망을 제안한다. 모odal 이질성 모델링을 위해 그래프 트랜스포머 네트워크(GTN), 채널 간 상관관계를 캡처하기 위해 그래프 컨볼루션 네트워크(GCN), 시간/스펙트럼 의존성 모델링을 위해 게이트드 순환 유닛(GRU)을 통합함으로써, DEAP 및 MAHNOB-HCI 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 다중 도메인 특징의 우수한 융합을 입증한다.

ABSTRACT

The research on human emotion under multimedia stimulation based on physiological signals is an emerging field, and important progress has been achieved for emotion recognition based on multi-modal signals. However, it is challenging to make full use of the complementarity among spatial-spectral-temporal domain features for emotion recognition, as well as model the heterogeneity and correlation among multi-modal signals. In this paper, we propose a novel two-stream heterogeneous graph recurrent neural network, named HetEmotionNet, fusing multi-modal physiological signals for emotion recognition. Specifically, HetEmotionNet consists of the spatial-temporal stream and the spatial-spectral stream, which can fuse spatial-spectral-temporal domain features in a unified framework. Each stream is composed of the graph transformer network for modeling the heterogeneity, the graph convolutional network for modeling the correlation, and the gated recurrent unit for capturing the temporal domain or spectral domain dependency. Extensive experiments on two real-world datasets demonstrate that our proposed model achieves better performance than state-of-the-art baselines.

연구 동기 및 목표

• 다중 모달 생리 신호에서 공간, 스펙트럼, 시간 도메인 특징 간 상보성을 효과적으로 활용하여 정서 인식 문제를 해결하는 것.
• EEG와 PPS와 같은 다양한 생리 모달 간 이질성과 상관관계를 통합된 딥 러닝 프레임워크 내에서 모델링하는 것.
• GRU를 통한 시간 동적 특징 캡처와 GCN를 통한 기능적 연결성 캡처를 동시에 고려하여 정서 인식 정확도를 향상시키는 것.
• 이종 그래프 학습과 순환 모델링을 융합한 일반화 가능한 아키텍처를 설계하는 것.

제안 방법

• 모델은 이중 스트림 아키텍처를 사용한다: 한 스트림은 EEG와 PPS의 공간-시간 특징을 처리하고, 다른 스트림은 공간-스펙트럼 특징을 처리한다.
• 각 스트림은 모달별 표현을 학습함으로써 다중 모달 입력의 이질성을 모델링하기 위해 그래프 트랜스포머 네트워크(GTN)를 활용한다.
• 각 스트림 내에서 그래프 컨볼루션 네트워크(GCN)를 적용하여 전극 또는 센서 간의 상관관계를 캡처한다.
• 양쪽 스트림 모두에서 게이트드 순환 유닛(GRU)을 사용하여 순차적 의존성 모델링—공간-시간 스트림에서는 시간 역동성, 공간-스펙트럼 스트림에서는 스펙트럼 역동성을 모델링한다.
• 두 스트림은 최종 분류 레이어에서 융합되어 다중 도메인 특징을 통합하여 정서 분류 성능을 향상시킨다.
• 프레임워크는 교차 엔트로피 손실, 조기 정지, Adam 최적화를 사용하여 EEG 및 PPS 데이터에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 이중 스트림 이종 그래프 순환 네트워크는 다중 모달 생리 신호로부터 공간-스펙트럼-시간 특징을 효과적으로 캡처하고 융합할 수 있는가?
• RQ2 그래프 트랜스포머 네트워크(GTN)를 통한 모달 이질성 모델링은 표준 융합 전략에 비해 성능 향상에 기여하는가?
• RQ3 GCN 기반 상관관계 모델링과 GRU 기반 순차적 모델링은 전체 성능에 얼마나 기여하는가?
• RQ4 제안된 아키텍처는 실세계 정서 인식 벤치마크에서 기존 최신 기술 수준(SOTA) 방법을 초월하는가?
• RQ5 다양한 모달 조합(EEG 전용, PPS 전용, 또는 둘 다)이 모델의 성능와 내성에 미치는 영향은 어떠한가?

주요 결과

• HetEmotionNet은 DEAP 데이터셋에서 기존 최신 기술 수준(SOTA) 방법을 능가하는 정확도로 최신 기술 수준의 성능를 달성한다.
• MAHNOB-HCI 데이터셋에서 HetEmotionNet은 다중 모달 생리 신호를 사용하는 유사한 모델들 중에서 보고된 바 가장 높은 정확도를 기록한다.
• 아블레이션 연구 결과, GRU, GCN, 또는 GTN 구성 요소를 제거할 경우 성능 저하가 심각하게 발생함을 확인하여 각 구성 요소의 중요성을 입증한다.
• 공간-시간 스트림이 공간-스펙트럼 스트림보다 더 큰 기여를 하며, 이는 시간 역동성이 정서 인식에 더 구분력이 있음을 시사한다.
• GTN를 통한 이질성 모델링을 통한 EEG와 PPS 모달의 융합은 단일 모달 사용보다 성능이 뛰어나며, EEG 전용이 PPS 전용보다 더 높은 성능를 기록한다.
• 이중 스트림 아키텍처와 공동 특징 융합은 단일 스트림 또는 이종성 없는 모델에 비해 분류 정확도를 크게 향상시킨다.