[논문 리뷰] Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models

Sarala Padi, Seyed Omid Sadjadi외 2명|arXiv (Cornell University)|2022. 02. 16.

Emotion and Mood Recognition인용 수 10

한 줄 요약

이 논문은 음성에 대해 미리 훈련된 ResNet 모델을 활용한 전이 학습과 텍스트에 대해 미세조정된 BERT를 사용하는 다중모odal 정서 인식 프레임워크를 제안한다. 이는 후기 융합을 통해 성능을 향상시킨다. 데이터 부족 문제에도 불구하고 IEMOCAP 데이터셋에서 음성 전용 모델은 70.33%의 문장 정확도를, 다중모달 융합 모델은 71.12%의 정확도를 기록하여 최신 기술 수준(SOTA)의 성과를 달성한다.

ABSTRACT

Automatic emotion recognition plays a key role in computer-human interaction as it has the potential to enrich the next-generation artificial intelligence with emotional intelligence. It finds applications in customer and/or representative behavior analysis in call centers, gaming, personal assistants, and social robots, to mention a few. Therefore, there has been an increasing demand to develop robust automatic methods to analyze and recognize the various emotions. In this paper, we propose a neural network-based emotion recognition framework that uses a late fusion of transfer-learned and fine-tuned models from speech and text modalities. More specifically, we i) adapt a residual network (ResNet) based model trained on a large-scale speaker recognition task using transfer learning along with a spectrogram augmentation approach to recognize emotions from speech, and ii) use a fine-tuned bidirectional encoder representations from transformers (BERT) based model to represent and recognize emotions from the text. The proposed system then combines the ResNet and BERT-based model scores using a late fusion strategy to further improve the emotion recognition performance. The proposed multimodal solution addresses the data scarcity limitation in emotion recognition using transfer learning, data augmentation, and fine-tuning, thereby improving the generalization performance of the emotion recognition models. We evaluate the effectiveness of our proposed multimodal approach on the interactive emotional dyadic motion capture (IEMOCAP) dataset. Experimental results indicate that both audio and text-based models improve the emotion recognition performance and that the proposed multimodal solution achieves state-of-the-art results on the IEMOCAP benchmark.

연구 동기 및 목표

• 미리 훈련된 모델에서의 전이 학습을 활용하여 음성 및 텍스트 기반 정서 인식의 데이터 부족 문제를 해결한다.
• 스펙트로그램 증강 및 미세조정 기법을 통해 정서 인식의 일반화 능력을 향상시킨다.
• 보완적인 청각 및 텍스트 표현의 후기 융합을 통해 성능을 향상시킨다.
• 화자 인식 및 BERT에서의 전이 학습을 활용하여 IEMOCAP 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 데이터가 풍부한 작업(예: 화자 인식, 언어 모델링)에서 사전 훈련된 모델을 재사용하여 자원이 제한된 정서 인식에 효과적인지를 입증한다.

제안 방법

• 고해상도 로그멜 스펙트로그램을 사용하여 화자 인식에 대해 사전 훈련된 ResNet34 모델을 음성 정서 인식에 대해 미세조정한다.
• 랜덤 시간-주파수 마스킹을 통한 스펙트로그램 증강을 적용하여 훈련 데이터의 다양성을 높이고 과적합을 줄인다.
• 번역된 텍스트에서 문장의 맥락적 임베딩을 추출하기 위해 사전 훈련된 BERT 모델을 사용하고, 정서 분류를 위해 미세조정한다.
• 청각 및 텍스트 모델의 예측된 정서 점수를 후기 융합을 통해 융합하여 보완적인 모odal을 활용한다.
• 스크립트 및 즉흥적인 발화를 포함한 전체 IEMOCAP 데이터셋을 대상으로 5개의 폴드를 사용한 화자 한 명을 제외하는 교차 검증 전략을 사용하여 시스템을 훈련하고 평가한다.
• 양 모odal의 신뢰도 점수 평균을 취하여 융합 전략을 최적화함으로써 최종 예측 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 화자 인식 모델에서의 전이 학습이 데이터 부족 상황에서 음성 정서 인식 성능을 향상시킬 수 있는가?
• RQ2 텍스트 데이터에 대해 BERT 기반 모델을 미세조정하면 정서 인식 정확도가 크게 향상되는가?
• RQ3 청각 및 텍스트 예측의 후기 융합이 단일 모달 접근법보다 더 나은 성능을 내는가?
• RQ4 제안된 방법은 IEMOCAP 벤치마크에서 최신 기술 수준의 모델들과 비교해 어떻게 성능을 내는가?
• RQ5 스펙트로그램 증강이 음성 기반 정서 인식에서 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 음성 전용 모델은 IEMOCAP 데이터셋에서 65.97%의 문장 정확도를 기록했으며, wav2vec-Base 및 HuBERT-Base와 같은 이전 방법들을 능가했다.
• 텍스트 전용 모델은 70.33%의 문장 정확도를 기록했으며, BERT+CNN 및 BERT+attention과 같은 이전 최신 기술 수준의 방법들을 뛰어넘었다.
• 후기 융합을 통한 다중모달 시스템은 71.12%의 문장 정확도를 기록했으며, IEMOCAP 벤치마크에서 최신 기술 수준의 결과를 달성했다.
• 스펙트로그램 증강을 사용함으로써 모델의 일반화 능력이 향상되었고, 특히 레이블이 제한된 데이터 상황에서 과적합이 줄어들었다.
• BERT 모델을 정서 인식에 대해 미세조정함으로써 고정된 특징 추출기로 사용할 때보다 성능 향상이 뚜렷했다.
• 2,200만 개 미만의 파라미터를 가졌음에도 불구하고, HuBERT-Large 및 WavLM-Large와 같은 대규모 자기지도 학습 모델보다 파라미터 효율성이 뛰어났다.