[논문 리뷰] Hybrid Contrastive Learning of Tri-Modal Representation for Multimodal Sentiment Analysis

Sijie Mai, Ying Zeng외 2명|arXiv (Cornell University)|2021. 09. 04.

Sentiment Analysis and Opinion Mining인용 수 13

한 줄 요약

이 논문은 다중모态 감성 분석을 위한 새로운 하이브리드 대비 학습 프레임워크인 HyCon을 제안한다. HyCon은 모달 간 갭을 줄이고 클래스 간 관계를 유지하기 위해 내모달, 간모달, 준대비 학습을 동시에 최적화한다. 감독 대비 학습에 보완 항목과 모달 간 거리를 적용하여 공개 데이터셋에서 최신 기준 성능을 달성하며, 정확도, F1, MAE 측면에서 기존 방법보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

The wide application of smart devices enables the availability of multimodal data, which can be utilized in many tasks. In the field of multimodal sentiment analysis (MSA), most previous works focus on exploring intra- and inter-modal interactions. However, training a network with cross-modal information (language, visual, audio) is still challenging due to the modality gap, and existing methods still cannot ensure to sufficiently learn intra-/inter-modal dynamics. Besides, while learning dynamics within each sample draws great attention, the learning of inter-class relationships is neglected. Moreover, the size of datasets limits the generalization ability of existing methods. To address the afore-mentioned issues, we propose a novel framework HyCon for hybrid contrastive learning of tri-modal representation. Specifically, we simultaneously perform intra-/inter-modal contrastive learning and semi-contrastive learning (that is why we call it hybrid contrastive learning), with which the model can fully explore cross-modal interactions, preserve inter-class relationships and reduce the modality gap. Besides, a refinement term is devised to prevent the model falling into a sub-optimal solution. Moreover, HyCon can naturally generate a large amount of training pairs for better generalization and reduce the negative effect of limited datasets. Extensive experiments on public datasets demonstrate that our proposed method outperforms existing works.

연구 동기 및 목표

• 다중모달 감성 분석(MSA)에서 지속적인 모달 갭 문제를 해결하기 위해 교차모달 표현 학습을 향상시키는 것.
• 기존 MSA 방법에서 자주 간과되는 클래스 간 관계를 활용하여 모델 일반화 능력을 향상시키는 것.
• 작은 공개 데이터셋으로 인한 과적합을 대비 학습 기반 데이터 증강을 통해 완화하는 것.
• 동시에 샘플 내외의 내모달 및 간모달 동역학을 포괄하는 통합 프레임워크를 개발하는 것.
• 보완 항목과 모달 간 거리를 포함한 새로운 손실 함수를 통해 통합 교차모달 임bedding의 분류 능력을 향상시키는 것.

제안 방법

• HyCon은 세 가지 대비 학습 구성 요소를 활용한다: 내모달 대비 학습(IAMCL), 간모달 대비 학습(IEMCL), 준대비 학습(SCL)으로, 삼중모달 데이터(텍스트, 음성, 시각)를 대상으로 한다.
• IAMCL와 IEMCL는 감독 대비 손실로, 동일 클래스의 임베딩을 특징 공간에서 가까이 모으고, 다른 클래스의 임베딩은 멀리 떼어내는 데 초점을 맞춘다.
• SCL은 각 샘플 내의 양성 쌍에만 집중하여 모달 분포를 통합하고 모달 갭을 줄이며, 음성 쌍 샘플링을 피한다.
• 최적화 과정에서의 부분 최적 해를 방지하기 위해 보완 항목을 도입하여 수렴 안정성을 향상시킨다.
• 교차모달 융합 과정에서 모달 고유의 정보를 유지하기 위해 모달 간 거리를 통합하여 더 나은 표현 학습을 가능하게 한다.
• 프레임워크는 미니배치에서 자동으로 대규모의 양성 및 음성 쌍을 생성하여, 제한된 데이터셋에서의 일반화 능력 향상과 과적합 감소에 기여한다.

실험 결과

연구 질문

• RQ1 내모달, 간모달, 준대비 학습을 동시에 최적화하는 것이 다중모달 감성 분석에서 교차모달 표현 학습을 향상시키는가?
• RQ2 대비 학습을 통해 클래스 간 관계를 통합하면, 작은 데이터셋에서 모델의 일반화 능력과 성능이 향상되는가?
• RQ3 보완 항목과 모달 간 거리가 학습된 임베딩의 강건성과 분류 능력을 향상시키는가?
• RQ4 클래식한 대비 손실(예: 트리플릿, N-pair, 고전적 대비)과 비교해 HyCon은 성능과 일반화 능력에서 어떤가?
• RQ5 이 하이브리드 대비 학습 프레임워크는 모달 갭을 얼마나 줄이고 감성 분류 정확도를 향상시키는가?

주요 결과

• 7개 클래스 감성 분류 벤치마크에서 HyCon은 46.6%의 정확도를 기록하여, 다음으로 우수한 방법(하드 트리플릿 마이닝)보다 1.1%p 높게 성과를 냈다.
• 2개 클래스 설정에서는 85.2%의 정확도를 달성하여, 하드 트리플릿 마이닝보다 0.9%p 높고, 대비 학습을 사용하지 않은 최상의 베이스라인보다 1.7%p 높았다.
• F1 스코어는 85.1%를 기록하여, 다음으로 좋은 방법(하드 트리플릿 마이닝)보다 0.9점 높았으며, 고전적 대비 손실 및 N-pair 손실보다는 뚜렷한 향상을 보였다.
• MAE는 0.713으로 감소하여 고전적 대비 손실(0.740)과 트리플릿 손실(0.797)보다 뚜렷한 개선을 보였으며, 더 나은 회귀 성능을 의미한다.
• 상관관계 지표는 0.790를 유지하여, 다른 지표에서의 향상에도 불구하고 진짜 감성 점수와의 일관성이 강하게 유지됨을 보여주었다.
• 제거 실험 결과, IAMCL, IEMCL, SCL, 보완 항목, 모달 간 거리 모두 성능 향상에 기여하며, 모든 구성 요소를 포함한 전체 HyCon 모델이 이들 구성 요소 중 하나라도 제거된 변형보다 뛰어난 성능을 보였다.