[논문 리뷰] Adversarial Representation with Intra-Modal and Inter-Modal Graph Contrastive Learning for Multimodal Emotion Recognition

Yuntao Shou, Tao Meng외 3명|arXiv (Cornell University)|2023. 12. 28.

Emotion and Mood Recognition인용 수 4

한 줄 요약

이 논문은 적대적 표현 학습을 통해 모odal 이질성을 감소시키고, 그래프 대비 학습을 통해 내모달, 간모달, 내클래스, 간클래스 의미 관계를 포착하는 새로운 다중모态 정서 인식 프레임워크 AR-IIGCN을 제안한다. 이 방법은 IEMOCAP 및 MELD 데이터셋에서 최신 기술 수준의 성능을 달성하며, RoBERTa-Large를 사용할 경우 IEMOCAP에서 70.4%의 가중 F1을 기록하여 공동 모달 정렬과 대비 학습을 통해 뛰어난 특징 표현 및 분류 정확도를 확보한다.

ABSTRACT

With the release of increasing open-source emotion recognition datasets on social media platforms and the rapid development of computing resources, multimodal emotion recognition tasks (MER) have begun to receive widespread research attention. The MER task extracts and fuses complementary semantic information from different modalities, which can classify the speaker's emotions. However, the existing feature fusion methods have usually mapped the features of different modalities into the same feature space for information fusion, which can not eliminate the heterogeneity between different modalities. Therefore, it is challenging to make the subsequent emotion class boundary learning. To tackle the above problems, we have proposed a novel Adversarial Representation with Intra-Modal and Inter-Modal Graph Contrastive for Multimodal Emotion Recognition (AR-IIGCN) method. Firstly, we input video, audio, and text features into a multi-layer perceptron (MLP) to map them into separate feature spaces. Secondly, we build a generator and a discriminator for the three modal features through adversarial representation, which can achieve information interaction between modalities and eliminate heterogeneity among modalities. Thirdly, we introduce contrastive graph representation learning to capture intra-modal and inter-modal complementary semantic information and learn intra-class and inter-class boundary information of emotion categories. Specifically, we construct a graph structure for three modal features and perform contrastive representation learning on nodes with different emotions in the same modality and the same emotion in different modalities, which can improve the feature representation ability of nodes. Extensive experimental works show that the ARL-IIGCN method can significantly improve emotion recognition accuracy on IEMOCAP and MELD datasets.

연구 동기 및 목표

• 텍스트, 음성, 영상에서 유도된 특징들이 공유 공간으로 매핑될 때 발생하는 모달 이질성 문제를 해결하기 위해, 이로 인해 발생하는 정렬 불일치와 경계 학습 부족 문제를 해결한다.
• 각 모달 간의 내모달 및 간모달 보완적 의미 정보를 포착함으로써 특징 표현을 향상시킨다.
• 대비 학습을 통해 내클래스의 밀도와 간클래스의 분리도를 명시적으로 모델링하여 클래스 경계 학습을 향상시킨다.
• 정서 인식을 넘어서 다중모달 유머 감지와 같은 다른 과제도 적용 가능한 일반화된 프레임워크를 개발한다.
• 적대적 학습 및 그래프 대비 학습 구성 요소의 효과를 제거 실험과 교차 데이터셋 평가를 통해 검증한다.

제안 방법

• 모델은 텍스트에 대해 RoBERTa, 영상에 대해 DenseNet, 음성에 대해 Bi-LSTM를 사용하여 각 모달 전용 특징을 추출하고 별도의 초기 특징 공간으로 매핑한다.
• 모달 간 특징 정렬을 위해 분포 차이를 최소화하는 적대적 표현 학습 모듈(TGAN)을 도입하여 모달 이질성을 감소시킨다.
• 노드가 샘플을 나타내고, 동일 모달 내 동일 정서의 샘플 간(내모달) 및 서로 다른 모달 간 동일 정서의 샘플 간(간모달)에 간선을 형성하는 그래프 대비 학습 프레임워크를 구성한다.
• 내모달 대비 학습은 동일 모달 내 동일 정서의 샘플 간 유사도를 최대화하고, 간모달 대비 학습은 서로 다른 모달 간 동일 정서의 샘플 간 거리를 최소화한다.
• 구축된 그래프 구조를 기반으로 표현을 전파하고 개선하기 위해 그래프 신경망을 활용하여 노드 수준의 특징 학습을 강화한다.
• 최종적으로 다층 퍼셉트론(MLP)이 개선된 다중모달 표현을 기반으로 종단간 정서 분류를 수행한다.

Figure 1: Illustrative example of the effect of different feature fusion methods on sentiment classification. (a) The feature extraction process for text, video and audio modalities. (b) The model learns emotion class boundaries in a feature fusion manner to map a common feature space. (c) The model

실험 결과

연구 질문

• RQ1 적대적 표현 학습이 다중모달 정서 인식에서 모달 이질성을 효과적으로 감소시킬 수 있는가?
• RQ2 내모달 및 간모달 그래프 대비 학습의 통합이 특징 표현과 클래스 경계 학습을 어떻게 향상시키는가?
• RQ3 적대적 정렬, 내모달 대비 학습, 간모달 대비 학습 중 각각의 기여도는 어떻게 다른가?
• RQ4 제안된 AR-IIGCN 프레임워크는 정서 인식을 넘어서 다른 다중모달 과제에 일반화될 수 있는가?
• RQ5 모델은 IEMOCAP 및 MELD와 같은 기준 데이터셋에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• RoBERTa-Large를 텍스트 인코더로 사용할 경우 AR-IIGCN은 IEMOCAP 데이터셋에서 70.4%의 가중 F1 스코어를 기록하며, 베이스라인 및 제거 실험 버전을 초월한다.
• MELD 데이터셋에서는 RoBERTa-Large를 사용할 경우 64.0%의 가중 F1 스코어를 기록하여 데이터셋 간 강력한 일반화 능력을 입증한다.
• 제거 실험 결과, 내모달 대비 학습(IMCL)과 간모달 대비 학습(ICCL)이 성능 향상에 가장 크게 기여하며, IMCL는 전체 모델 다음으로 높은 성능을 기록한다.
• 적대적 정렬(TGAN) 구성 요소는 베이스라인 대비 약간의 향상을 보이며, 이는 모달 정렬에 기여하지만 대비 학습만큼 큰 영향을 주지는 않는다는 것을 시사한다.
• 다른 다중모달 과제로의 일반화 능력도 뛰어나, C-MFN에 적용했을 경우 UR-FUNNY 데이터셋에서 유머 감지 정확도가 7.57% 향상되었다.
• 전체 AR-IIGCN 모델은 IEMOCAP 및 MELD 양쪽 데이터셋에서 모든 제거 실험 버전과 베이스라인 모델보다 일관되게 뛰어난 성능을 보이며 구성 요소 간 상호보완성의 타당성을 확인한다.

Figure 2: The overall framework of the Adversarial Representation Learning with Intra-Modal and Inter-Modal Graph Contrastive Learning consists of a data preprocessing layer, a multimodal feature fusion layer, a graph contrastive representation learning layer, and an emotion classification layer.