[논문 리뷰] Multi-level Fusion of Wav2vec 2.0 and BERT for Multimodal Emotion Recognition

Zihan Zhao, Yanfeng Wang외 1명|arXiv (Cornell University)|2022. 07. 11.

Emotion and Mood Recognition인용 수 5

한 줄 요약

이 논문은 다중 모odal 정서 인식을 위해 wav2vec 2.0와 BERT 임베딩을 융합하는 다수준 융합 프레임워크를 제안한다. 이는 공격적 주의 메커니즘을 활용한 조기 융합과 후기 융합을 모두 포함하며, 새로운 다중 해상도 음성 임베딩 추출 방법(프레임, 음소, 음절, 단어 수준)을 적용한다. IEMOCAP 데이터셋에서 76.31%의 무작위 정확도를 달성하여 기존 최고 성능 기준보다 1.3% 높은 성능을 보였다.

ABSTRACT

The research and applications of multimodal emotion recognition have become increasingly popular recently. However, multimodal emotion recognition faces the challenge of lack of data. To solve this problem, we propose to use transfer learning which leverages state-of-the-art pre-trained models including wav2vec 2.0 and BERT for this task. Multi-level fusion approaches including coattention-based early fusion and late fusion with the models trained on both embeddings are explored. Also, a multi-granularity framework which extracts not only frame-level speech embeddings but also segment-level embeddings including phone, syllable and word-level speech embeddings is proposed to further boost the performance. By combining our coattention-based early fusion model and late fusion model with the multi-granularity feature extraction framework, we obtain result that outperforms best baseline approaches by 1.3% unweighted accuracy (UA) on the IEMOCAP dataset.

연구 동기 및 목표

• 사전 훈련된 모델을 활용한 전이 학습을 통해 다중 모달 정서 인식에서의 데이터 희소성 문제를 해결한다.
• 텍스트(BERT)와 음성(wav2vec 2.0) 모달 간의 효과적인 융합 전략—조기 융합과 후기 융합—을 탐색한다.
• 프레임, 음소, 음절, 단어 수준에서 음성 임베딩을 추출하는 다중 해상도 프레임워크를 도입하여 성능을 향상시킨다.
• 조기 융합과 후기 융합을 병행하는 다수준 융합이 단일 융합 방법보다 우수한 성능을 내는지 확인한다.
• 통합된 5겹 교차 검증 설정을 사용하여 IEMOCAP 벤치마크에서 기존 최고 성능 기준을 뛰어넘는다.

제안 방법

• 텍스트 모달과 음성 모달 각각에 대해 사전 훈련된 BERT와 wav2vec 2.0를 고정된 특징 추출기로 활용한다.
• wav2vec 2.0를 사용하여 프레임, 음소, 음절, 단어 수준에서 음성 임베딩을 추출하는 다중 해상도 음성 임베딩 프레임워크를 구현한다.
• 공격적 주의 메커니즘을 활용하여 텍스트와 음성 임베딩을 동적으로 정렬하고 융합하는 공격적 주의 기반 조기 융합을 적용한다.
• 각기 별개의 BERT와 wav2vec 2.0 모델의 예측 로짓을 연결하여 최종 분류를 위한 후기 융합을 구현한다.
• 가장 우수한 성능을 보인 조기 융합(F+P)과 후기 융합(F+S) 구성 조합을 통해 다수준 융합을 구현한다.
• 공정한 평가 및 이전 연구와의 비교를 위해 IEMOCAP 데이터셋에 대해 5겹 교차 검증을 사용한다.

실험 결과

연구 질문

• RQ1 BERT와 wav2vec 2.0 임베딩 간의 공격적 주의 기반 조기 융합이 단순 연결보다 다중 모달 정서 인식 성능을 향상시킬 수 있는가?
• RQ2 음소, 음절, 단어 수준의 세그먼트 수준 음성 임베딩을 통합할 경우, 프레임 수준 임베딩을 초월해 성능 향상을 이룰 수 있는가?
• RQ3 모달 전용 모델의 후기 융합이 다중 모달 정서 인식에서 조기 융합을 능가할 수 있는가?
• RQ4 조기 융합과 후기 융합 전략을 병행함으로써 단일 수준 융합에 비해 추가적인 성능 향상을 이룰 수 있는가?
• RQ5 제안된 다중 해상도 융합 프레임워크는 IEMOCAP 벤치마크에서 기존 최고 성능 기준과 비교해 어떻게 성능을 내는가?

주요 결과

• 공격적 주의 기반 조기 융합 모델은 프레임 및 음소 수준 음성 임베딩을 사용하여 74.57%의 무작위 정확도(UA)를 달성하였으며, 단순 연결 기반 조기 융합보다 약 3% 높은 성능을 보였다.
• 후기 융합 모델은 항상 조기 융합 모델보다 뛰어난 성능을 보였으며, 최고의 후기 융합 모델은 프레임 및 음절 수준 임베딩을 사용하여 75.80%의 UA를 달성하였다.
• 가장 우수한 조기 융합(F+P)과 후기 융합(F+S) 구성 조합을 통합한 다수준 융합 모델은 76.31%의 UA를 기록하여 최고의 베이스라인보다 1.3% 높은 성능을 보였다.
• 세그먼트 수준 임베딩의 성능 향상은 앙상블 효과 때문이 아니라, 정서와 관련된 프로소디 정보를 잘 포착하기 때문임을 확인하였다.
• 단지 프레임 수준의 음성 임베딩과 텍스트 임베딩만을 사용하는 본 방법도 대부분의 기존 최고 성능 기준을 뛰어넘는 성능을 보였다.
• 다중 해상도 프레임워크는 조기 융합 및 후기 융합 설정 모두에서 성능을 크게 향상시켰으며, 다중 척도 음성 표현의 가치를 확인하였다.