[논문 리뷰] Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition

Wenliang Dai, Zihan Liu외 2명|arXiv (Cornell University)|2020. 09. 21.

Sentiment Analysis and Opinion Mining참고 문헌 40인용 수 4

한 줄 요약

이 논문은 저자원 다중모态 감정 인식을 위한 모odal 전이 가능 모델을 제안하며, 감정 카테고리를 표현하기 위해 사전 훈련된 GloVe 임베딩을 사용하고, 이러한 임베딩을 음성 및 시각적 공간으로 전환하는 매핑 함수를 학습한다. 다양한 모odal 간에 입력 표현과 감정 임베딩 간의 거리를 측정함으로써, 최신 기술 수준의 성능을 달성하고, 알려지지 않은 감정에 대해 효과적인 제로샷 및 피처샷 인식을 가능하게 한다.

ABSTRACT

Despite the recent achievements made in the multi-modal emotion recognition task, two problems still exist and have not been well investigated: 1) the relationship between different emotion categories are not utilized, which leads to sub-optimal performance; and 2) current models fail to cope well with low-resource emotions, especially for unseen emotions. In this paper, we propose a modality-transferable model with emotion embeddings to tackle the aforementioned issues. We use pre-trained word embeddings to represent emotion categories for textual data. Then, two mapping functions are learned to transfer these embeddings into visual and acoustic spaces. For each modality, the model calculates the representation distance between the input sequence and target emotions and makes predictions based on the distances. By doing so, our model can directly adapt to the unseen emotions in any modality since we have their pre-trained embeddings and modality mapping functions. Experiments show that our model achieves state-of-the-art performance on most of the emotion categories. In addition, our model also outperforms existing baselines in the zero-shot and few-shot scenarios for unseen emotions.

연구 동기 및 목표

• 다중모달 감정 인식에서 감정 간 상호관계를 모델링하지 못함으로써 발생하는 최적화되지 않은 성능 문제를 해결한다.
• 희귀하거나 알려지지 않은 감정 카테고리에 대해 저자원 감정 인식의 과제를 해결한다.
• 사전 훈련된 감정 임베딩과 모달 전이를 활용하여 알려지지 않은 감정에 대해 제로샷 및 피처샷 학습을 가능하게 한다.
• 다양한 모달 간 공유된 의미 지식을 통한 엔드 투 엔드 학습을 통해 저자원 환경에서의 일반화 및 강인성을 향상시킨다.

제안 방법

• 문자 모달에서 감정 카테고리의 의미적 표현으로 사전 훈련된 GloVe 임베딩을 사용한다.
• 문자 감정 임베딩을 음성 및 시각적 공간으로 투영하기 위한 두 개의 매핑 함수 $f_{t\rightarrow a}$ 및 $f_{t\rightarrow v}$ 를 학습한다.
• 각 모달에서 입력 시퀀스 표현과 목표 감정 임베딩 간의 거리를 계산하여 예측을 수행한다.
• 모든 모달의 거리를 학습된 어텐션 메커니즘을 사용해 융합하여 최종 감정 예측을 도출한다.
• 같은 흐름을 사용하여 알려지지 않은 감정 카테고리에 대해 직접 적용함으로써 제로샷 추론을 가능하게 한다.
• 공동 훈련과 지속적 학습을 통한 피처샷 적응을 지원하여 기존 클래스에서의 치명적 기억 상실을 방지한다.

Figure 1: An intuitive example of our method. In the upper image, the relative positions of GloVe emotion embeddings ( happy , surprised ) are shown in the textual space, which are then projected to acoustic and visual spaces by two mapping functions ( $f_{t\rightarrow a}$ and $f_{t\rightarrow v}$ )

실험 결과

연구 질문

• RQ1 공유된 의미 임베딩를 통해 감정 간 상호관계를 모델링하면 다중모달 감정 인식 성능이 향상되는가?
• RQ2 라벨이 없는 훈련 데이터 없이 모델이 알려지지 않은 감정 카테고리에 얼마나 잘 일반화되는가?
• RQ3 희소 데이터로 저자원 감정에 대해 제안된 방법이 얼마나 효과적인가?
• RQ4 모달별 성능에 차이가 나는가, 그리고 어떤 경우에 단일 모달 제로샷 예측이 다중모달 설정을 초월할 수 있는가?

주요 결과

• 제안된 모델은 IEMOCAP 및 CMU-MOSEI 데이터셋에서 대부분의 감정 카테고리에서 최신 기술 수준의 성능을 달성한다.
• IEMOCAP 데이터셋에서, 모델은 음성 및 시각적 모달만을 사용하여 89.1%의 제로샷 정확도를 달성하며, 다중모달 기준 모델을 능가한다.
• 피처샷 학습에서 공동 훈련(JT)을 사용한 모델은 훈련 데이터의 1%만으로도 알려지지 않은 감정 'surprise'에 대해 86.1%의 정확도를 기록한다.
• 모델은 피처샷 환경에서 미세조정 기반 모델보다 우수한 성능을 보이며, 이는 미세조정이 치명적 기억 상실과 성능 저하를 유도하기 때문이다.
• 어떤 감정이 한 모달에서 강력한 구분 신호를 가질 경우, 예를 들어 음성 모달에서 'surprise' 감정의 경우, 단일 모달 제로샷 예측이 다중모달 설정을 뛰어넘을 수 있다.
• 절단 실험 결과, 문자 및 음성 모달이 시각 모달보다 더 큰 기여를 하며, 다양한 설정에서 모달 융합이 항상 성능 향상에 기여한다.

Figure 2: The architecture of our proposed multi-modal emotion recognition model. It consists of three LSTM networks, one emotion embedding mapping module, and one modality fusion module. For each modality, the input is a sequence of length $T$ . Each modality has a set of emotion embeddings by mapp