[논문 리뷰] A cross-modal fusion network based on self-attention and residual structure for multimodal emotion recognition

Ziwang Fu, Feng Liu외 5명|arXiv (Cornell University)|2021. 11. 03.

Emotion and Mood Recognition참고 문헌 25인용 수 28

한 줄 요약

CFN-SR은 오디오와 비디오 특징을 융합하기 위해 self-attention과 잔여 설계를 활용한 교차 모달 융합 네트워크를 제안하여 RAVDESS에서 26.30M 매개변수로 75.76% 정확도를 달성합니다.

ABSTRACT

The audio-video based multimodal emotion recognition has attracted a lot of attention due to its robust performance. Most of the existing methods focus on proposing different cross-modal fusion strategies. However, these strategies introduce redundancy in the features of different modalities without fully considering the complementary properties between modal information, and these approaches do not guarantee the non-loss of original semantic information during intra- and inter-modal interactions. In this paper, we propose a novel cross-modal fusion network based on self-attention and residual structure (CFN-SR) for multimodal emotion recognition. Firstly, we perform representation learning for audio and video modalities to obtain the semantic features of the two modalities by efficient ResNeXt and 1D CNN, respectively. Secondly, we feed the features of the two modalities into the cross-modal blocks separately to ensure efficient complementarity and completeness of information through the self-attention mechanism and residual structure. Finally, we obtain the output of emotions by splicing the obtained fused representation with the original representation. To verify the effectiveness of the proposed method, we conduct experiments on the RAVDESS dataset. The experimental results show that the proposed CFN-SR achieves the state-of-the-art and obtains 75.76% accuracy with 26.30M parameters. Our code is available at https://github.com/skeletonNN/CFN-SR.

연구 동기 및 목표

• 오디오와 비디오 데이터에서 강건한 다중 모달 감정 인식을 유도한다.
• 내재-모달 및 상호 모달 상호작용 중에 원래 의미 정보를 보존하는 융합 프레임워크를 개발한다.
• 오디오 특징 선택을 위한 self-attention과 비디오 의미를 유지하는 잔여 경로를 활용한다.
• 교차 모달 블록을 통해 모달 간의 효율적인 보완성을 보장한다.

제안 방법

• 공간-시간 표현을 위해 3D ResNeXt50로 비디오 특징을 추출한다.
• MFCC에 간단한 1D CNN으로 오디오 특징을 추출한다.
• 오디오가 비디오와의 인터-모달 상호작용 전에 intra-modal self-attention을 거치는 교차 모달 블록을 적용한다.
• 잔여 구조를 통해 비디오 무결성을 보존하며, tanh 기반의 인터-모달 매핑과 소프트맥스 가이드 융합으로 모달을 융합한다.
• 융합된 표현을 원래 특징과 연결하고 cross-entropy 손실로 분류한다.

실험 결과

연구 질문

• RQ1 교차 모달 블록이 감정 인식을 위한 오디오와 비디오 특징 간의 효율적이고 포괄적인 상호작용을 어떻게 가능하게 하는가?
• RQ2 오디오 특징 선택을 위한 self-attention의 도입과 비디오 특징을 위한 잔여 경로가 인식 정확도와 정보 무결성을 향상시키는가?
• RQ3 이 아키텍처에서 융합 방향(V->A 대 A->V)의 성능에 미치는 영향은 무엇인가?
• RQ4 표준 다중 모달 감정 데이터셋에서 CFN-SR이 기존 융합 방법과 어떻게 비교되는가?

주요 결과

• RAVDESS에서 26.30M 매개변수로 75.76% 정확도를 달성하여 최첨단 성능을 달성했다.
• 교차 모달 블록은 매개변수 증가가 약 0.4M인 상태에서 정확도를 2% 포인트 이상 향상시킨다.
• self-attention 기반 오디오 특징 선택이 성능에 크게 기여하며 중복성을 줄인다.
• 잔여 구조가 인터-모달 상호작용 중 비디오 모듈 정보 보존에 도움을 주어 강인성을 향상시킨다.
• 이 설정에서 A->V 융합이 V->A보다 더 나은 성능을 보여 주며, 효과적인 오디오 특징 선택이 인터-모달 상호작용을 돕는다는 것을 시사한다.