[논문 리뷰] Attention Driven Fusion For Multi-Modal Emotion Recognition

Darshana Priyasad, Tharindu Fernando외 3명|arXiv (Cornell University)|2020. 09. 23.

Emotion and Mood Recognition참고 문헌 22인용 수 5

한 줄 요약

이 논문은 원시 음성 신호를 SincNet 층을 통해 활용하고, 교차-주의를 적용한 이중 분지형 텍스트 처리 방식을 포함하는 주의 기반 다중 모odal 융합 모델을 제안한다. 특징 융합 이전 및 이후에 자가주의를 적용함으로써, IEMOCAP에서 79.22%의 가중 정확도를 달성하여 이전 최고 성능 모델보다 3.5% 높은 성능을 기록한다.

ABSTRACT

Deep learning has emerged as a powerful alternative to hand-crafted methods for emotion recognition on combined acoustic and text modalities. Baseline systems model emotion information in text and acoustic modes independently using Deep Convolutional Neural Networks (DCNN) and Recurrent Neural Networks (RNN), followed by applying attention, fusion, and classification. In this paper, we present a deep learning-based approach to exploit and fuse text and acoustic data for emotion classification. We utilize a SincNet layer, based on parameterized sinc functions with band-pass filters, to extract acoustic features from raw audio followed by a DCNN. This approach learns filter banks tuned for emotion recognition and provides more effective features compared to directly applying convolutions over the raw speech signal. For text processing, we use two branches (a DCNN and a Bi-direction RNN followed by a DCNN) in parallel where cross attention is introduced to infer the N-gram level correlations on hidden representations received from the Bi-RNN. Following existing state-of-the-art, we evaluate the performance of the proposed system on the IEMOCAP dataset. Experimental results indicate that the proposed system outperforms existing methods, achieving 3.5% improvement in weighted accuracy.

연구 동기 및 목표

• 기존 방법보다 더 효과적으로 청각적 및 텍스트적 모달리티를 융합함으로써 음성 정서 인식 성능을 향상시키기.
• 수작업으로 만든 청각적 특징(예: MFCCs)을 대체하기 위해 원시 파형에서 정서 특화 필터 범주를 추출할 수 있는 학습 가능한 SincNet 층을 도입하기.
• N-gram 수준의 상관관계 모델링을 위해 Bi-LSTM과 병렬된 DCNN 분지 간에 교차주의를 도입함으로써 텍스트 표현을 향상시키기.
• 융합 이전 및 이후에 모달리티별 특징에 대해 자가주의를 적용하여 융합 성능을 향상시키기.
• 주의 메커니즘을 활용한 엔드 투 엔드 학습을 통해 IEMOCAP 데이터셋에서 최고 성능을 달성하기.

제안 방법

• 학습 가능한 대역통과 필터를 갖춘 SincNet 층을 원시 음성에 직접 적용하여 정서에 맞춰 조정된 특징을 추출하며, 기존의 원시 파형에 대한 컨볼루션 레이어를 대체한다.
• SincNet 필터 응답은 g[n, f1, f2] = 2f2·sinc(2πf2n) − 2f1·sinc(2πf1n)로 정의되며, f1 및 f2는 학습 가능한 절곡 주파수이다.
• 텍스트 처리를 위해 이중 분지 아키텍처를 사용한다: 한 분지는 Bi-LSTM 이후 DCNN를 사용하고, 다른 분지는 원시 GloVe-300d 임베딩에 DCNN를 적용한다.
• Bi-LSTM의 은닉 상태와 DCNN의 N-gram 특징 간에 교차주의를 적용하여 N-gram 수준의 맥락적 상관관계를 모델링한다.
• 융합 이전(예: F-I, F-II) 및 융합 이후(예: F-III)에 각각 모달리티별 최종 특징 벡터에 대해 자가주의를 독립적으로 적용한다.
• 세 가지 융합 전략(F-I, F-II, F-III)을 평가한다: 조기 융합(자기주의 이후 연결), 후기 융합(자기주의 이후), 후기 융합에 후속 자기주의 적용.

실험 결과

연구 질문

• RQ1 SincNet 기반 청각적 특징 추출기가 기존의 수작업 특징(MFCCs 등)보다 정서 인식에서 더 우수한 성능을 내는가?
• RQ2 N-gram 기반 및 RNN 기반 텍스트 표현 간의 교차주의 적용이 정서 인식을 위한 어휘적 맥락 모델링에 기여하는가?
• RQ3 특징 융합 이전 및 이후에 자가주의를 적용할 경우 다중 모달 정서 인식 성능에 어떤 영향을 미치는가?
• RQ4 원시 음성 및 텍스트를 사용한 엔드 투 엔드 학습이 특징 엔지니어링 기반 기준 모델보다 정확도 향상에 기여하는가?
• RQ5 주의 기반 융합을 통해 융합된 청각적 및 텍스트적 모달리티의 상대적 기여도는 어떻게 되는가?

주요 결과

• 제안된 모델은 IEMOCAP 데이터셋에서 79.22%의 가중 정확도를 달성하여 이전 최고 성능 모델 MHA-2보다 3.5% 높은 성능을 기록한다.
• 청각 모델만으로도 69.8%의 가중 정확도를 기록하여 MHA-2의 청각 분지(65.2%)보다 4.6% 높은 성능을 보였다.
• 텍스트 모델은 66.7%의 가중 정확도를 기록하여 MHA-2의 텍스트 분지(70.3%)보다 3.6% 높은 성능을 기록했다.
• 융합 이전 및 이후에 자가주의를 적용한 융합 전략(F-III)이 가장 높은 성능을 보였으며, F-II보다 0.5% 높고 F-I보다 1.37% 높았다.
• 혼동 행렬 분석 결과, 융합이 특히 '화가난'과 '흥분' 정서에 대해 잘못 분류되는 경우를 크게 줄였다.
• 주의 기반 융합을 통해 두 모달리티 간에 뛰어난 상호 보완성과 강건성을 확보하였으며, 각 모달리티가 서로의 성능을 향상시켰다.