[논문 리뷰] MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal Emotion Recognition

Jinming Zhao, Ruichen Li외 3명|arXiv (Cornell University)|2021. 10. 27.

Emotion and Mood Recognition인용 수 6

한 줄 요약

이 논문은 대규모 레이블이 없는 영상 데이터를 활용해 자기지도 학습(self-supervised learning)을 통해 감정 인식을 위한 통합된 텍스트, 시각적, 청각적 표현을 학습하는 다중모달 사전학습 모델인 MEmoBERT를 제안한다. 감정 분류를 마스크된 예측 작업으로 재구성하는 프롬프트 기반 미세조정 방법을 도입하여 기존의 미세조정 방식에 비해 성능을 크게 향상시켰으며, 특히 자원이 제한된 조건에서 뛰어난 성능을 보이며 IEMOCAP 및 MSP-IMPROV에서 최신 기준 성능을 달성하였다.

ABSTRACT

Multimodal emotion recognition study is hindered by the lack of labelled corpora in terms of scale and diversity, due to the high annotation cost and label ambiguity. In this paper, we propose a pre-training model extbf{MEmoBERT} for multimodal emotion recognition, which learns multimodal joint representations through self-supervised learning from large-scale unlabeled video data that come in sheer volume. Furthermore, unlike the conventional "pre-train, finetune" paradigm, we propose a prompt-based method that reformulates the downstream emotion classification task as a masked text prediction one, bringing the downstream task closer to the pre-training. Extensive experiments on two benchmark datasets, IEMOCAP and MSP-IMPROV, show that our proposed MEmoBERT significantly enhances emotion recognition performance.

연구 동기 및 목표

• 높은 표준화 비용과 레이블의 모호성으로 인해 대규모, 다양한, 고품질의 레이블이 부여된 다중모달 감정 데이터셋이 부족한 문제를 해결하기 위해.
• 텍스트, 시각적, 청각적 모달리티 전반에 걸쳐 거대한 레이블이 없는 영상 데이터로부터 통합된 표현을 학습하는 다중모달 사전학습 프레임워크를 개발하기 위해.
• 사전학습된 표현을 프롬프트 기반 학습을 통해 미세조정하여 다중모달 감정 인식 성능을 향상시키고, 사전학습과 미세조정 목표 간의 일치를 더 잘 맞추기 위해.
• 자원이 제한된 환경에서 프롬프트 기반 학습이 다중모달 감정 인식에 얼마나 효과적인지 입증하기 위해.

제안 방법

• MEmoBERT는 각 모달리티별로 특화된 인코더(텍스트용 BERT, 시각용 사전 학습된 얼굴 모델, 청각용 사전 학습된 음성 모델)를 사용하여 각 모달리티의 원시 특징을 추출한다.
• 각 모달리티의 특징은 토큰/프레임 특징, 위치 임베딩, 모달리티 유형 임베딩을 조합한 모달리티 전용 임베더를 통해 임베딩되며, 이후 레이어 정규화를 거친다.
• 모델는 다층 교차모달 트랜스포머를 사용하여 다양한 모달리티 간에 주의를 기울이고 통합된 표현을 학습한다.
• 네 가지 자기지도 사전학습 작업을 사용한다: 전체 단어 마스크 언어 모델링(Whole Word Masked Language Modeling, WWMLM), 스펜 마스크 시각적 프레임 모델링(Span Masked Visual Frame Modeling, SpanMVFM), KL 발산을 사용한 스펜 마스크 시각적 프레임 분류(Span Masked Visual Frame Classification with KL-divergence, SpanMVFC-KL), 스펜 마스크 청각적 프레임 모델링(Span Masked Acoustic Frame Modeling, SpanMAFM).
• 프롬프트 기반 학습 방법은 감정 분류 작업을 마스크된 텍스트 예측 작업으로 재구성하여, 미세조정 과정에서 사전학습된 지식을 보다 효과적으로 활용할 수 있도록 한다.
• 미세조정 과정에서는 추가 파라미터를 도입하지 않고, 입력 텍스트 앞에 학습 가능한 프롬프트를 삽입하여 분류를 유도한다.

실험 결과

연구 질문

• RQ1 대규모 레이블이 없는 영상 데이터를 활용한 자기지도 사전학습이 다중모달 감정 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 사전학습된 다중모달 모델을 감정 인식 작업에 적응시키는 데 있어 프롬프트 기반 학습이 기존의 미세조정 방식을 능가하는가?
• RQ3 제한된 레이블 데이터를 가진 저자원 조건에서 제안된 MEmoBERT 모델은 어떻게 일반화되는가?
• RQ4 각 개별 사전학습 작업이 MEmoBERT의 전체 성능에 기여하는 정도는 어떠한가?
• RQ5 교차주의 메커니즘을 통한 통합된 다중모달 표현 학습이 모달리티별 표현을 초월해 감정 인식 성능을 향상시킬 수 있는가?

주요 결과

• IEMOCAP에서 MEmoBERT는 가중 정확도(Weighted Accuracy, WA) 80.01%와 무작위 평균 재현율(Unweighted Average Recall, UAR) 81.09%를 기록하여 이전 최고 성능 모델을 능가하였다.
• MSP-IMPROV에서는 WA 72.36%와 UAR 72.22%를 기록하여 이전 방법들에 비해 일관된 성능 향상을 보였다.
• 프롬프트 기반 방법('Pretrain+Prompt')은 'BERT+Direct' 기준선 대비 IEMOCAP에서 UAR +2.1% 향상되었고, MSP-IMPROV에서는 +2.5% 향상되었다.
• 제거 실험 결과 모든 사전학습 작업이 긍정적인 기여를 하며, 어느 하나라도 제거할 경우 성능 저하가 발생함을 확인하였다.
• 저자원 조건에서 프롬프트 기반 방법은 표준 미세조정보다 일관되게 뛰어난 성능을 보였으며, 훈련 데이터가 줄어들수록 성능 향상 폭이 더 커졌다.
• 대규모 레이블이 없는 영상 데이터를 통한 사전학습이 모델 성능을 크게 향상시키며, 'Pretrain+Finetune'과 'Pretrain+Prompt' 모두 모든 설정에서 'BERT+Direct'를 초월하였다.