[논문 리뷰] ScaleVLAD: Improving Multimodal Sentiment Analysis via Multi-Scale Fusion of Locally Descriptors

Huaishao Luo, Lei Ji외 4명|arXiv (Cornell University)|2021. 12. 02.

Sentiment Analysis and Opinion Mining참고 문헌 48인용 수 8

한 줄 요약

이 논문은 다양한 의미적 해상도에서 텍스트, 영상, 음성 특징을 정렬하는 데 공유된 局부적으로 집계된 기술자( VLAD)를 사용하는 다중 척도 융합 방법인 ScaleVLAD를 제안한다. 학습 가능한 잠재 의미 벡터와 자기 지율적 이동 클러스터링 손실을 활용하여 ScaleVLAD는 특징의 구분 능력을 향상시키고 IEMOCAP, MOSI, MOSEI 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Fusion technique is a key research topic in multimodal sentiment analysis. The recent attention-based fusion demonstrates advances over simple operation-based fusion. However, these fusion works adopt single-scale, i.e., token-level or utterance-level, unimodal representation. Such single-scale fusion is suboptimal because that different modality should be aligned with different granularities. This paper proposes a fusion model named ScaleVLAD to gather multi-Scale representation from text, video, and audio with shared Vectors of Locally Aggregated Descriptors to improve unaligned multimodal sentiment analysis. These shared vectors can be regarded as shared topics to align different modalities. In addition, we propose a self-supervised shifted clustering loss to keep the fused feature differentiation among samples. The backbones are three Transformer encoders corresponding to three modalities, and the aggregated features generated from the fusion module are feed to a Transformer plus a full connection to finish task predictions. Experiments on three popular sentiment analysis benchmarks, IEMOCAP, MOSI, and MOSEI, demonstrate significant gains over baselines.

연구 동기 및 목표

• 단일 척도 융합의 한계를 해결하기 위해, 단일 모odal 표현이 토큰 수준 또는 문장 수준에서만 정렬되는 문제를 해결한다.
• 비어벌 신호(예: 음성, 영상)가 명확한 의미적 경계를 갖지 못할 경우, 시간적 및 의미적 해상도가 다른 모달 간의 의미적 불일치를 줄인다.
• 새로운 자기 지율적 손실을 통해 레이블 정보를 활용하여 융합된 표현 공간에서의 특징 구분 능력을 향상시킨다.
• 텍스트, 영상, 음성 간에 공유 가능한 학습 가능한 잠재 의미 벡터를 사용하여 다양한 척도에서 유니모달 특징의 탄력적인 정렬을 가능하게 한다.
• 특징 융합과 클러스터링을 동시에 최적화하여 표준 다중 모달 감성 분석 벤치마크에서 최신 기술 수준 성능을 달성한다.

제안 방법

• ScaleVLAD는 텍스트, 영상, 음성에서 유니모달 표현을 추출하기 위해 세 가지 모odal 전용 트랜스포머 인코더를 사용한다.
• 각 모달에 대해 다양한 해상도에서 국소 특징을 추출하기 위해 다중 척도 슬라이딩 윈도우 메커니즘을 적용한다(예: 1, 2, 3, 10개 토큰/윈도우).
• 학습 가능한 코드북을 사용하여 국소 특징을 공유된 局부적으로 집계된 기술자(VLAD)로 집계하며, 공유된 벡터는 모달 간의 공통된 의미 주제 역할을 한다.
• 모멘텀 업데이트된 클러스터 중심을 유지하는 자기 지율적 이동 클러스터링 손실(S3C)을 사용하여 샘플 간 특징의 구분 능력을 향상시킨다.
• ScaleVLAD에서 얻은 융합된 특징는 최종 감성 예측을 위해 트랜스포머 인코더와 피드포워드 네트워크를 통과한다.
• 전체 모델은 분류를 위한 교차 엔트로피 손실과 표현 학습을 위한 S3C 손실을 함께 최적화하여 훈련한다.

실험 결과

연구 질문

• RQ1 다양한 의미적 해상도에서 국소 기술자의 다중 척도 융합이 의미적 해상도의 불일치를 보완함으로써 다중 모달 감성 분석 성능을 향상시킬 수 있는가?
• RQ2 학습 가능한 공유 잠재 의미 벡터가 시간적 및 의미적 해상도가 다른 텍스트, 영상, 음성 모달 간의 의미 격차를 효과적으로 메울 수 있는가?
• RQ3 자기 지율적 이동 클러스터링 손실이 명시적 지도 학습 없이도 융합된 다중 모달 표현의 구분 능력을 향상시킬 수 있는가?
• RQ4 다양한 다중 모달 감성 분석 벤치마크에서 ScaleVLAD는 최신 기술 수준의 방법들과 비교해 성능가 얼마나 뛰어나게 되는가?
• RQ5 다중 척도 융합과 S3C 손실이 정렬되지 않은 다중 모달 환경에서 성능 향상에 얼마나 기여하는가?

주요 결과

• ScaleVLAD는 IEMOCAP, CMU-MOSI, CMU-MOSEI 세 가지 모두에서 새로운 최신 기술 수준 성능을 달성한다.
• IEMOCAP에서 ScaleVLAD는 84.5% 정확도와 86.4% F1 점수를 기록하여 MISA 및 Self-MM과 같은 이전 SOTA 모델을 초월한다.
• CMU-MOSEI에서 ScaleVLAD는 84.7% F1 점수와 0.781의 상관관계를 기록하여 TFN, MulT, ICCN 등의 모델을 뛰어넘었다.
• 제거 실험 결과, 다중 척도 융합과 S3C 손실 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 F1 점수는 1.4–1.5% 감소하였다.
• t-SNE 시각화 결과, S3C 손실이 임베딩 공간에서 더 타이트하고 잘 분리된 클러스터를 유도함을 확인하였으며, 특히 유사한 감성 점수를 가진 샘플에서 두드러졌다.
• 모델은 모달 간에 동적으로 정렬 패턴을 학습하며, 공유된 벡터는 다중 토큰 어휘(예: 'really really loved')와 더 긴 지속 시간의 음성/영상 세그먼트를 효과적으로 포착한다.