[논문 리뷰] WisdoM: Improving Multimodal Sentiment Analysis by Fusing Contextual World Knowledge

Wenbin Wang, Liang Ding외 4명|arXiv (Cornell University)|2024. 01. 12.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

WisdoM는 대규모 시각어휘 모델(LVLMs)에서 추출한 문맥적 세계 지식을 융합함으로써 다중모态 감성 분석을 향상시키는 플러그인 프레임워크를 제안한다. 이는 프롬프트 템플릿과 훈련이 없는 문맥 융합 기법을 통해 관련성이 높은 문맥을 생성하며, 최신 기술(SOTA) 방법들보다 평균 F1 점수를 +1.89 향상시키고, 어려운 샘플에서는 최대 +5.8 F1 향상까지 기록한다.

ABSTRACT

Sentiment analysis is rapidly advancing by utilizing various data modalities (e.g., text, image). However, most previous works relied on superficial information, neglecting the incorporation of contextual world knowledge (e.g., background information derived from but beyond the given image and text pairs) and thereby restricting their ability to achieve better multimodal sentiment analysis (MSA). In this paper, we proposed a plug-in framework named WisdoM, to leverage the contextual world knowledge induced from the large vision-language models (LVLMs) for enhanced MSA. WisdoM utilizes LVLMs to comprehensively analyze both images and corresponding texts, simultaneously generating pertinent context. To reduce the noise in the context, we also introduce a training-free contextual fusion mechanism. Experiments across diverse granularities of MSA tasks consistently demonstrate that our approach has substantial improvements (brings an average +1.96% F1 score among five advanced methods) over several state-of-the-art methods.

연구 동기 및 목표

• 기존의 다중모달 감성 분석(MSA) 모델이 원시적인 이미지-텍스트 쌍 외에 문맥적 세계 지식을 보유하지 못하는 한계를 해결한다.
• 특히 역사적 또는 문화적 배경 지식과 같은 외부 배경 지식을 통합할 경우 감성 예측 정확도가 향상되는지 탐구한다.
• 재훈련이 필요 없이 최신 기술(MSA) 모델을 확장할 수 있는 확장성 있고 모델 독립적인 프레임워크를 개발한다.
• 생성된 문맥 지식의 노이즈를 완화하여 입력 모odal과의 신뢰할 수 있는 융합을 보장한다.
• 다양한 벤치마크와 모델 아키텍처에서 일관된 성능 향상을 입증한다.

제안 방법

• LVLM가 이미지-텍스트 쌍에서 문맥적으로 관련성이 높은 세계 지식을 생성하도록 이끄는 프롬프트 템플릿을 ChatGPT를 활용해 생성한다.
• 대규모 시각어휘 모델(LVLM)을 활용해 입력 이미지와 문장 기반으로 문맥적 세계 지식(이하 '문맥'으로 지칭)을 생성한다.
• 훈련이 없는 문맥 융합 기법을 도입하여, 문맥을 선택적으로 MSA 모델에 통합함으로써 노이즈 영향을 최소화한다.
• 기존 MSA 모델에 플러그인 방식으로 적용하여, 다양한 아키텍처(예: LLaVA, AoM, mPLUG-Owl2)에서의 보편적 향상이 가능하도록 한다.
• 점진적 문맥 통합을 통해 개별 문맥 문장의 기여도를 분석하고, 역사적 또는 사건 기반 문맥의 중요성을 검증한다.
• 낮은 신뢰도(δ ≤ 0.3)를 가진 어려운 샘플의 오류율을 시각화하여, 문맥 융합 기법이 잘못된 예측을 줄이는 데 얼마나 효과적인지 평가한다.

실험 결과

연구 질문

• RQ1 다중모달 감성 분석 향상에 가장 기여하는 세계 지식 유형은 무엇인가? (예: 역사적, 정치적, 문화적)
• RQ2 문맥적 세계 지식을 통합할 경우, 특히 모호하거나 어려운 샘플에서 감성 예측 성능에 어떤 영향을 미치는가?
• RQ3 문맥 융합 기법이 생성된 문맥의 노이즈를 얼마나 줄이고, 도전적인 예측에 대해 얼마나 강건한지를 어느 정도로 개선하는가?
• RQ4 LVLM의 크기와 훈련 데이터 볼륨 증가에 따라 WisdoM의 성능 향상이 어떻게 확장되는가?
• RQ5 재훈련 없이도 다양한 최신 기술(MSA) 모델에 보편적으로 적용 가능한가?

주요 결과

• WisdoM는 다섯 가지 고급 MSA 방법에서 평균 F1 점수를 +1.89 향상시키며, 어려운 샘플에서는 최대 +5.8 F1 향상까지 기록한다.
• 역사적 배경 지식을 통합하면 예측 정확도가 크게 향상된다. 예를 들어, '알레포'라는 단어에 대해 시리아 전쟁과의 연관성을 연결함으로써 기준 모델이 놓쳤던 부정적 감성도 정확히 식별한다.
• 문맥 융합 기법은 AoM 및 LLaVA-v1.5와 같은 기준 모델 대비 어려운 샘플(δ ≤ 0.3)에서 오류율을 감소시켜 강건성을 입증한다.
• 더 큰 LVLM을 사용할수록 성능 향상이 뚜렷하며, 훈련 데이터의 25%만으로도 뚜렷한 성능 향상이 나타나 강력한 일반화 능력과 확장성을 보여준다.
• 역사적 및 정치적 세계 지식이 데이터셋 전반에서 가장 높은 향상도를 기록하며, 예술적 또는 문학적 지식보다 뛰어난 성능을 보인다.
• 점진적 문맥 통합 분석을 통해 사건의 결과를 추가할 경우 부정적 감성 확률이 18% 증가함을 확인하여, 문맥의 깊이가 얼마나 가치 있는지 입증한다.