[논문 리뷰] Using Large Pre-Trained Models with Cross-Modal Attention for Multi-Modal Emotion Recognition

Krishna D. N|arXiv (Cornell University)|2021. 08. 22.

Speech Recognition and Synthesis참고 문헌 35인용 수 9

한 줄 요약

이 논문은 음성에 대해 wav2vec2.0과 텍스트에 대해 BERT를 사용하는 대규모 자기지도 학습 모델을 통합하여 다중모态 정서 인식을 향상시키는 교차 모odal 주의 메커니즘을 제안한다. 음성 및 텍스트 특징 간의 특징 정렬과 풀링된 문장 수준 표현의 조기 융합을 위한 공동 미세조정을 통해, IEMOCAP 데이터셋에서 이전 최고 성능 기준보다 1.88%p의 절대 정확도 향상을 달성한다.

ABSTRACT

Recently, self-supervised pre-training has shown significant improvements in many areas of machine learning, including speech and NLP. We propose using large self-supervised pre-trained models for both audio and text modality with cross-modality attention for multimodal emotion recognition. We use Wav2Vec2.0 [1] as an audio encoder base for robust speech features extraction and the BERT model [2] as a text encoder base for better contextual representation of text. These high capacity models trained on large amounts of unlabeled data contain rich feature representations and improve the downstream task's performance. We use the cross-modal attention [3] mechanism to learn alignment between audio and text representations from self-supervised models. Cross-modal attention also helps in extracting interactive information between audio and text features. We obtain utterance-level feature representation from frame-level features using statistics pooling for both audio and text modality and combine them using the early fusion technique. Our experiments show that the proposed approach obtains a 1.88% absolute improvement in accuracy compared to the previous state-of-the-art method [3] on the IEMOCAP dataset [35]. We also conduct unimodal experiments for both audio and text modalities and compare them with previous best methods.

연구 동기 및 목표

• 음성과 텍스트를 위한 대규모 자기지도 사전 학습 모델을 활용하여 다중모달 정서 인식 성능을 향상시키는 것.
• 정서 인식에서 레이블이 부족한 데이터 문제를 사전 학습 모델에서 유래한 풍부한 표현을 활용하여 해결하는 것.
• 교차 모달 주의 메커니즘을 통해 모odal 간의 특징 상호작용을 향상시키는 것.
• 정서 분류를 위한 음성 및 텍스트 표현의 조기 융합 효과를 평가하는 것.
• 사전 학습 모델의 공동 미세조정과 교차 주의를 통해 IEMOCAP 데이터셋에서 새로운 최고 성능을 확립하는 것.

제안 방법

• 원시 웨이브폼에서 강력한 자기지도 학습 음성 표현을 추출하기 위해 wav2vec2.0을 음성 인코더 기반으로 사용한다.
• 768차원의 은닉 상태를 가진 문맥 기반 단어 임베딩을 생성하기 위해 BERT-base를 텍스트 인코더 기반으로 활용한다.
• 음성-텍스트 및 텍스트-음성 양방향으로 교차 모달 주의(CMA)를 적용하여 정렬 및 상호작용 특징을 학습한다.
• 모든 프레임 수준의 특징에 통계 풀링을 적용하여 양 모달에 대해 문장 수준의 표현을 생성한다.
• 분류 이전에 풀링된 음성 및 텍스트 특징를 연결하여 조기 융합을 수행한다.
• 검증 손실 기반 학습률 스케줄러와 함께 Adam 옵timizer를 사용하여 전체 모델을 엔드 투 엔드로 미세조정한다.

실험 결과

연구 질문

• RQ1 wav2vec2.0과 BERT와 같은 대규모 자기지도 사전 학습 모델을 공동 미세조정할 경우 다중모달 정서 인식 성능 향상에 기여하는가?
• RQ2 교차 모달 주의가 정서 인식에서 음성 및 텍스트 표현 간의 특징 정렬과 상호작용을 향상시키는가?
• RQ3 IEMOCAP 데이터셋에서 정확도 측면에서 제안된 방법은 이전 최고 성능 기준과 비교해 어떻게 성과를 내는가?
• RQ4 동일한 사전 학습 모델과 아키텍처를 사용할 경우 단모달 시스템(음성 전용 및 텍스트 전용)의 성능은 어떠한가?
• RQ5 학습 중에 사전 학습 인코더를 동결할 경우 엔드 투 엔드 미세조정 대비 성능 저하가 발생하는가?

주요 결과

• 제안된 방법은 IEMOCAP 데이터셋에서 74.71%의 무게 조정되지 않은 정확도를 달성하여 이전 최고 성능 기준보다 1.88%p의 절대적 향상을 보였다.
• wav2vec2.0를 사용한 음성 전용 모델(또는 CNN과 BLSTM 조합)은 60.01%의 무게 조정되지 않은 정확도를 기록하여 이전의 음성 전용 접근 방식을 초월했다.
• BERT로 미세조정한 텍스트 전용 모델은 71.01%의 무게 조정되지 않은 정확도를 달성하여 이전의 텍스트 전용 방법을 능가했다.
• 제거 실험 결과, 사전 학습 모델을 교차 주의와 함께 공동으로 미세조정할 경우 인코더를 동결한 경우보다 더 높은 성능을 기록했다.
• 교차 모달 주의 메커니즘은 모달 간의 상호의존성을 효과적으로 포착하여 단모달 기준선을 뛰어넘는 분류 성능 향상을 이끌었다.
• 모델는 다중모달 및 단모달 설정 모두에서 경쟁적인 성능을 기록함으로써 강력한 일반화 능력을 입증했다.