[논문 리뷰] MMTF-DES: A Fusion of Multimodal Transformer Models for Desire, Emotion, and Sentiment Analysis of Social Media Data

Abdul Aziz, Nihad Karim Chowdhury외 3명|arXiv (Cornell University)|2023. 10. 22.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 MSED 기준 데이터셋을 사용하여 감성, 정서, 욕구 분석에서 각각 3%, 2.2%, 약 1% 향상된 성능을 달성한 통합 다중모달 트랜스포머 프레임워크인 MMTF-DES를 제안한다. 이는 ViLT와 VAuLT 인코더를 융합하여 사회 미디어의 이미지-텍스트 쌍에서 욕구, 감성, 정서를 종합적으로 분석한다. 초기 특징 융합과 다중 샘플 드롭아웃을 적용하여 최신 기술 수준을 초월한다.

ABSTRACT

Desire is a set of human aspirations and wishes that comprise verbal and cognitive aspects that drive human feelings and behaviors, distinguishing humans from other animals. Understanding human desire has the potential to be one of the most fascinating and challenging research domains. It is tightly coupled with sentiment analysis and emotion recognition tasks. It is beneficial for increasing human-computer interactions, recognizing human emotional intelligence, understanding interpersonal relationships, and making decisions. However, understanding human desire is challenging and under-explored because ways of eliciting desire might be different among humans. The task gets more difficult due to the diverse cultures, countries, and languages. Prior studies overlooked the use of image-text pairwise feature representation, which is crucial for the task of human desire understanding. In this research, we have proposed a unified multimodal transformer-based framework with image-text pair settings to identify human desire, sentiment, and emotion. The core of our proposed method lies in the encoder module, which is built using two state-of-the-art multimodal transformer models. These models allow us to extract diverse features. To effectively extract visual and contextualized embedding features from social media image and text pairs, we conducted joint fine-tuning of two pre-trained multimodal transformer models: Vision-and-Language Transformer (ViLT) and Vision-and-Augmented-Language Transformer (VAuLT). Subsequently, we use an early fusion strategy on these embedding features to obtain combined diverse feature representations of the image-text pair. This consolidation incorporates diverse information about this task, enabling us to robustly perceive the context and image pair from multiple perspectives.

연구 동기 및 목표

• 소셜 미디어에서 감성과 정서와 밀접하게 연결되어 있지만 아직 충분히 탐색되지 않은 다중모달 인간의 욕구 이해 문제를 해결하기 위해.
• 이전 연구에서 이미지-텍스트 쌍의 특징 표현을 간과한 점을 극복하기 위해, 특히 미묘한 인간의 욕구를 포착하는 데에 초점을 맞추기 위해.
• 다중모달 트랜스포머 인코더를 사용하여 욕구, 감성, 정서를 종합적으로 모델링하는 통합형 엔드 투 엔드 프레임워크를 개발하기 위해.
• 융합된 다중모달 표현에 대한 새로운 다중 샘플 드롭아웃 전략을 통해 모델의 일반화 능력과 학습 효율성을 향상시키기 위해.
• 새로운 MSED 기준 데이터셋에서 초기 융합과 다중모달 표현 학습의 효과를 검증하기 위해.

제안 방법

• 논문은 MSED 데이터셋의 이미지-텍스트 쌍에서 함께 미세조정되는 두 개의 사전 학습된 다중모달 트랜스포머—비전 앤드 랭귀지 트랜스포머(ViLT)와 비전 앤드 어그멘티드 랭귀지 트랜스포머(VAuLT)—를 사용한다.
• ViLT와 VAuLT에서 추출한 맥락화된 시각적 및 텍스트 임베딩을 연결하여 초기 융합 전략을 적용함으로써 통합된 다중모달 표현을 형성한다.
• 융합된 표현에 다중 샘플 드롭아웃 메커니즘을 적용하여 일반화 능력을 향상시키고 학습 속도를 가속화한다.
• 프레임워크는 각 이미지-텍스트 쌍에 대해 욕구, 감성, 정서의 세 가지 레이블을 동시에 예측하기 위해 엔드 투 엔드로 훈련된다.
• 입력 쌍 내의 시각적 및 텍스트 모달 간의 상호작용을 활용하여 내부 및 상호 모달 관계를 포착한다.
• 모델이 욕구 관련 콘텐츠를 탐지하는 능력을 더 잘 평가하고 이해하기 위해 새로운 이진 욕구 분석 작업을 도입한다.

실험 결과

연구 질문

• RQ1 ViLT와 VAuLT 표현의 초기 융합 전략이 다중모달 욕구, 감성, 정서 이해 능력을 향상시키는 데 얼마나 효과적인가?
• RQ2 다중 샘플 드롭아웃이 제안된 MMTF-DES 프레임워크에서 일반화 능력과 학습 속도를 얼마나 향상시키는가?
• RQ3 MMTF-DES는 MSED 기준 데이터셋에서 기존 최신 기술 수준의 방법들과 비교해 욕구, 감성, 정서 분석을 종합적으로 수행할 때 어떻게 성능을 냅니까?
• RQ4 제안된 프레임워크는 명시적으로 표현되지 않은, 이미지-텍스트 쌍을 통해 암시된 미묘한 인간의 욕구를 효과적으로 포착할 수 있는가?
• RQ5 개별 모델에서 발생하는 오류 패턴은 무엇이며, 초기 융합은 이러한 오류를 어떻게 수정하는가?

주요 결과

• MMTF-DES는 MSED 기준 데이터셋을 사용하여 감성 분석에서 기존 최신 기술 수준의 방법보다 3% 향상되었고, 정서 분석에서 2.2%, 욕구 분석에서 약 1% 향상되었다.
• 초기 융합 전략은 개별 모델(ViLT 및 VAuLT)이 실패하는 예시를 정확히 분류할 수 있게 해주며, 상호 보완적인 특징 학습을 통해 강건성을 입증한다.
• 다중 샘플 드롭아웃 메커니즘은 모델의 일반화 능력을 향상시키고 학습 속도를 가속화하여 모든 작업에서 평균 1.7%의 성능 향상을 기여한다.
• 오류 분석 결과, 복잡한 다중모달 예시—예를 들어 미묘한 정서적 또는 욕구 기반 신호를 포함한 예시—에서 단일 모델 예측이 실패하는 상황에서도 프레임워크가 성공적으로 분류함을 보여준다.
• 제안된 이진 욕구 분석 작업은 MMTF-DES가 암시적 욕구 신호를 효과적으로 포착함으로써 해석 가능성과 작업별 성능을 향상시킨다는 점을 드러낸다.
• 모델는 강력한 모달 간 상호작용를 보이며, 모든 세 가지 분류 작업에서 시각적 및 텍스트 특징이 정확한 예측에 기여하는 데 중요한 역할을 한다.