[논문 리뷰] TACOformer:Token-channel compounded Cross Attention for Multimodal Emotion Recognition

Xinda Li|arXiv (Cornell University)|2023. 06. 23.

EEG and Brain-Computer Interfaces인용 수 6

한 줄 요약

이 논문은 생리 신호에서 정서 인식을 향상시키기 위해 토큰 수준 및 채널 수준의 상호작용을 통합하는 새로운 다중모달 융합 프레임워크인 TACOformer를 제안한다. EEG 및 외부 신호를 위한 이중 스트림 트랜스포머와 2차원 공간적 위치 인코딩을 결합함으로써, TACOformer는 DEAP 및 DREAMER 데이터셋에서 기존 방법들보다 유의미한 성능 향상을 이룩하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Recently, emotion recognition based on physiological signals has emerged as a field with intensive research. The utilization of multi-modal, multi-channel physiological signals has significantly improved the performance of emotion recognition systems, due to their complementarity. However, effectively integrating emotion-related semantic information from different modalities and capturing inter-modal dependencies remains a challenging issue. Many existing multimodal fusion methods ignore either token-to-token or channel-to-channel correlations of multichannel signals from different modalities, which limits the classification capability of the models to some extent. In this paper, we propose a comprehensive perspective of multimodal fusion that integrates channel-level and token-level cross-modal interactions. Specifically, we introduce a unified cross attention module called Token-chAnnel COmpound (TACO) Cross Attention to perform multimodal fusion, which simultaneously models channel-level and token-level dependencies between modalities. Additionally, we propose a 2D position encoding method to preserve information about the spatial distribution of EEG signal channels, then we use two transformer encoders ahead of the fusion module to capture long-term temporal dependencies from the EEG signal and the peripheral physiological signal, respectively. Subject-independent experiments on emotional dataset DEAP and Dreamer demonstrate that the proposed model achieves state-of-the-art performance.

연구 동기 및 목표

• 기존의 다중모달 융합 방법이 토큰 수준 또는 채널 수준의 상호작용에만 집중할 뿐, 둘 다 동시에 고려하지 못하는 한계를 해결하기 위해.
• 생리 신호의 시간적(토큰) 및 공간적(채널) 차원에서 상보적인 다중모달 상호의존성을 파악하여 정서 인식 정확도를 향상시키기 위해.
• 뇌파 신호 해석에 핵심적인 역할을 하는 위상 정보를 유지하기 위해, 새로운 2차원 위치 인코딩 기법을 통해 EEG 채널의 공간 분포 정보를 보존하기 위해.
• 정서 인식을 넘어서 다중모달 다변량 시계열 데이터에 일반화 가능한 융합 모듈을 개발하기 위해.

제안 방법

• 통합 어텐션 메커니즘을 통해 토큰 수준과 채널 수준에서 동시에 교차모달 상호작용을 모델링하는 토큰-채널 복합(TACO) 교차 어텐션 모듈을 도입한다.
• EEG 및 외부 생리 신호(예: ECG, EMG, EOG, GSR)의 장기적 시간적 의존성을 추출하기 위해 두 개의 별도된 비전 트랜스포머 인코더를 사용한다.
• EEG 전극의 공간 배치를 인코딩하기 위해 2차원 위치 인코딩 방법을 적용하여 뇌파 신호의 해부학적 위상 정보를 유지한다.
• 시간 단위(토큰)와 신호 채널 양쪽에서 어텐션 스코어를 동시에 계산하는 통합 어텐션 메커니즘을 사용하여 종합적인 특징 융합을 가능하게 한다.
• 일관성 있는 성능 평가를 위해 DEAP 및 DREAMER 데이터셋에서 주체 독립적 평가를 5겹 교차검증을 통해 수행한다.
• 각 구성 요소(예: TACO 어텐션, 2차원 위치 인코딩)의 기여도를 검증하기 위해 추론 분석 및 통계적 t-검정을 수행한다.

실험 결과

연구 질문

• RQ1 토큰 수준과 채널 수준의 상호작용을 동시에 모델링하는 통합 교차 어텐션 메커니즘이 다중모달 정서 인식 성능을 향상시킬 수 있는가?
• RQ2 EEG 신호에 2차원 공간적 위치 인코딩을 도입할 경우, 기존의 1차원 위치 인코딩보다 성능 향상이 이루어지는가?
• RQ3 TACO 교차 어텐션은 단독 토큰 수준(TCA) 또는 채널 수준(CCA) 교차 어텐션보다 성능 및 특징 표현 측면에서 어떻게 비교되는가?
• RQ4 TACO 모듈의 성능 향상은 여러 평가 지표에서 통계적으로 유의미한가?

주요 결과

• DEAP 데이터셋에서 TACOformer는 측정값(Valence) 91.59% 및 자극도(Arousal) 92.02%의 정확도를 기록하여 DCCA, FLDNET, GA-MLP를 포함한 모든 베이스라인을 초월한다.
• DREAMER 데이터셋에서는 측정값 94.58%, 자극도 94.03%의 성능을 기록하여 주체 독립적 환경에서 뛰어난 일반화 능력을 입증한다.
• 추론 분석 결과, TACO 교차 어텐션 모듈이 연결(concatenation), TCA, CCA를 모두 능가하며, CCA 대비 측정값 정확도에서 2.8%p의 절대적 향상을 보였다.
• 2차원 위치 인코딩 방법은 1차원 위치 인코딩 대비 측정값 성능을 2.25%p, 자극도 성능을 2.10%p 향상시켜 공간적 위상 정보 보존의 효과를 입증한다.
• 쌍체 t-검정 결과, TACO를 TCA 및 CCA와 비교할 때 p < 0.05 수준에서 통계적으로 유의미한 향상이 있었음을 확인하여 제안된 방법의 견고성을 확인한다.
• 어텐션 행렬의 시각화 결과, TACO는 시간과 채널 양쪽 차원에서 다양한 어텐션 스코어를 할당하는 반면, TCA 및 CCA는 한 축을 따라 반복적인 패턴을 보임을 확인할 수 있었다.