[논문 리뷰] LMR-CBT: Learning Modality-fused Representations with CB-Transformer for Multimodal Emotion Recognition from Unaligned Multimodal Sequences

Ziwang Fu, Feng Liu외 6명|arXiv (Cornell University)|2021. 12. 03.

Emotion and Mood Recognition인용 수 5

한 줄 요약

이 논문은 비정렬된 음성, 시각 및 텍스트 시퀀스에서 다중모달 정서 인식을 위한 보완적이고 모odal이 융합된 표현을 학습하는 경량 트랜스포머 기반 모델인 LMR-CBT를 제안한다. 국소적 시간 모델링, 잔차 기반 다중모달 융합, 그리고 글로벌 자기주의 어텐션을 갖춘 새로운 CB-Transformer를 사용함으로써, 단지 0.35M–0.41M 파라미터로도 IEMOCAP, CMU-MOSI, CMU-MOSEI에서 기존의 더 큰 모델들을 능가하는 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Learning modality-fused representations and processing unaligned multimodal sequences are meaningful and challenging in multimodal emotion recognition. Existing approaches use directional pairwise attention or a message hub to fuse language, visual, and audio modalities. However, those approaches introduce information redundancy when fusing features and are inefficient without considering the complementarity of modalities. In this paper, we propose an efficient neural network to learn modality-fused representations with CB-Transformer (LMR-CBT) for multimodal emotion recognition from unaligned multimodal sequences. Specifically, we first perform feature extraction for the three modalities respectively to obtain the local structure of the sequences. Then, we design a novel transformer with cross-modal blocks (CB-Transformer) that enables complementary learning of different modalities, mainly divided into local temporal learning,cross-modal feature fusion and global self-attention representations. In addition, we splice the fused features with the original features to classify the emotions of the sequences. Finally, we conduct word-aligned and unaligned experiments on three challenging datasets, IEMOCAP, CMU-MOSI, and CMU-MOSEI. The experimental results show the superiority and efficiency of our proposed method in both settings. Compared with the mainstream methods, our approach reaches the state-of-the-art with a minimum number of parameters.

연구 동기 및 목표

• 정서 인식에서 비정렬된 다중모달 시퀀스로부터 효과적이고 보완적인 표현을 학습하는 데 도전한다.
• 쌍별 또는 허브 기반 어텐션 메커니즘과 비교해 정보 중복을 줄이고 융합의 효율성을 향상시킨다.
• 실세계 배포에 적합한 최소한의 파라미터로도 높은 성능을 유지하는 경량 아키텍처를 설계한다.
• BiLSTM을 활용해 문맥 기반 언어 표현을 확보하고, 외부 메시지 허브를 도입하지 않고도 특징 융합을 향상시킨다.
• 정렬된 및 비정렬된 조건 하에서 표준 벤치마크에서 방법을 검증하여 강건성과 효율성을 입증한다.

제안 방법

• 각 모달리티에 대해 별도로 특징 추출을 수행한다: 텍스트는 BiLSTM, 음성과 영상은 1D 컨볼루션을 사용해 국소적 시간적 구조를 포착한다.
• 새로운 CB-Transformer 아키텍처를 도입하며, 세 단계로 구성된다: 국소적 시간 학습, 잔차 기반 상호작용을 통한 다중모달 특징 융합, 글로벌 자기주의 어텐션.
• 다중모달 융합은 모든 세 모달리티의 특징을 결합하는 잔차 연결을 사용하여 중복 정보를 방지하고 원본 표현을 유지한다.
• 융합된 특징는 최종 분류 전에 원본 모달리티 특징와 연결되어 표현의 풍부함을 향상시킨다.
• 모델은 명시적 정렬 없이 비정렬된 다중모달 시퀀스에서 엔드 투 엔드로 훈련되며, 어텐션 메커니즘을 통해 다중모달 의존성을 모델링한다.
• 파라미터 효율성에 최적화되어 있으며, 총 0.35M–0.41M의 파라미터만을 사용하여 자원이 제한된 환경에 적합하다.

실험 결과

연구 질문

• RQ1 명시적 정렬 없이도 비정렬된 다중모달 시퀀스에서 보완적인 표현을 효과적으로 학습할 수 있는 경량 트랜스포머 기반 모델은 가능한가?
• RQ2 잔차 기반 다중모달 융합은 쌍별 어텐션 또는 중심화된 메시지 허브와 비교해 성능 및 효율성 측면에서 어떻게 다른가?
• RQ3 BiLSTM을 언어 표현에 사용할 경우, 단순한 인코더(예: Conv1D)보다 정서 인식 성능을 얼마나 향상시킬 수 있는가?
• RQ4 작은 모델이 최소한의 파라미터로 다중모달 정서 인식 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?
• RQ5 다양한 데이터셋과 이질적인 정렬 조건에서 제안된 방법은 얼마나 일반화되는가?

주요 결과

• LMR-CBT는 IEMOCAP, CMU-MOSI, CMU-MOSEI에서 비정렬 조건 하에서도 최신 기술 수준(SOTA) 성능을 달성했으며, 각각 F1 스코어는 81.0%, 81.5%, 81.2%였다.
• CMU-MOSEI에서 LMR-CBT는 단지 0.41M 파라미터로 81.5%의 F1 스코어를 기록했으며, MISA(15.9M 파라미터)와 PMR(2.15M 파라미터)를 능가했고, 파라미터 수가 약 10배 적었다.
• 비정렬 조건 하에서 CMU-MOSEI에서 LMR-CBT는 51.8%의 정확도를 기록했으며, PMR(51.8%)와 MISA(52.1%)를 능가하는 F1 스코어를 확보했고, 파라미터 수가 훨씬 적었다.
• ablative 연구 결과, BiLSTM는 Conv1D보다 F1 스코어를 1.4% 향상시켜 장거리 언어적 의존성을 모델링하는 데서의 우수성을 확인했다.
• 모든 모달리티 융합에서 [V, A]->L 융합 설정이 가장 뛰어난 성능을 보였으며, 이는 언어 모달리티가 음성-시각 융합에서 가장 큰 이점을 얻음을 시사한다. 반면, 음성 전용 융합은 가장 효율이 떨어졌다.
• CB-Transformer 설계는 중복을 줄이고 효율성을 유지하며, 정확도와 파라미터 효율성 측면에서 쌍별 어텐션 및 메시지 허브 방법을 모두 능가한다.