[논문 리뷰] Towards Multi-Modal Sarcasm Detection via Hierarchical Congruity Modeling with Knowledge Enhancement

Hui Liu, Wenya Wang외 1명|arXiv (Cornell University)|2022. 10. 07.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 다중 모달 사자감지 프레임워크를 제안하며, 다중 헤드 크로스 어텐션과 그래프 신경망을 사용하여 원자 수준의 일치성(토큰-이미지 패치 정렬)과 구성 수준의 일치성(구어-객체 관계 정렬)을 모두 모델링한다. 또한 외부 지식, 특히 CLIP와 GPT-2를 통해 생성된 이미지 캡션을 통합하여 성능을 향상시켜 공개된 트위터 기반 사자감지 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Sarcasm is a linguistic phenomenon indicating a discrepancy between literal meanings and implied intentions. Due to its sophisticated nature, it is usually challenging to be detected from the text itself. As a result, multi-modal sarcasm detection has received more attention in both academia and industries. However, most existing techniques only modeled the atomic-level inconsistencies between the text input and its accompanying image, ignoring more complex compositions for both modalities. Moreover, they neglected the rich information contained in external knowledge, e.g., image captions. In this paper, we propose a novel hierarchical framework for sarcasm detection by exploring both the atomic-level congruity based on multi-head cross attention mechanism and the composition-level congruity based on graph neural networks, where a post with low congruity can be identified as sarcasm. In addition, we exploit the effect of various knowledge resources for sarcasm detection. Evaluation results on a public multi-modal sarcasm detection dataset based on Twitter demonstrate the superiority of our proposed model.

연구 동기 및 목표

• 기존의 다중 모달 사자감지 방법이 원자 수준의 토큰-패치 정렬에만 초점을 맞추고 구성적 의미 불일치를 忽略하는 한계를 해결하기 위해.
• 텍스트 및 시각 모달리티에 대해 그래프 기반 구조를 사용하여 원자 수준과 구성 수준 양쪽에서 일치성을 모델링하여 사자감지 성능을 향상시키기 위해.
• 외부 지식, 특히 이미지 캡션의 효과가 원시적인 이미지 및 텍스트 입력을 넘어서 사자감지 성능 향상에 기여하는지 조사하기 위해.
• 다양한 정도의 일치성과 지식 기반 표현을 통합하여 보다 강력한 사자감지가 가능한 통합 프레임워크를 개발하기 위해.

제안 방법

• 다중 헤드 크로스 어텐션을 사용하여 개별 텍스트 토큰과 이미지 패치 간의 유사도 점수를 계산하여 원자 수준의 일치성을 모델링한다.
• 텍스트의 의존성 그래프와 시각적 공간 관계 그래프를 구축하여 양 모달리티의 구성적 의미를 포착한다.
• 그래프 어텐션 네트워크(GATs)를 적용하여 구성 수준의 맥락 기반 표현을 학습시켜 구어-객체 관계를 모델링할 수 있도록 한다.
• CLIP와 GPT-2를 사용해 이미지에서 기술적 캡션을 생성하고, 이를 일치성 모델링을 위한 보조 신호로 통합하여 외부 지식을 통합한다.
• 원자 수준과 구성 수준의 일치성 특징을 연결하여 사자감지용 통합 표현을 형성한다.
• 계층적 아키텍처를 활용하여 고수준의 그래프 기반 추론을 통해 저수준의 일치성을 개선함으로써 복잡한 의미 불일치를 탐지한다.

실험 결과

연구 질문

• RQ1 원자 수준과 구성 수준 양쪽에서 일치성을 모델링하는 것이 단일 정도 접근법을 넘어서 다중 모달 사자감지 성능을 향상시킬 수 있는가?
• RQ2 시각적 및 텍스트 입력이 의미적으로 불일치할 경우, 특히 이미지 캡션과 같은 외부 지식이 사자감지 성능 향상에 얼마나 효과적인가?
• RQ3 사전 훈련된 시각-언어 모델(CLIP 등)과 언어 모델(GPT-2 등)의 통합이 사자감지의 해석 가능성과 강건성에 기여하는가?
• RQ4 의미적 및 공간적 의존성의 그래프 기반 모델링이 복잡한 사자 패턴 탐지에 얼마나 기여하는가?

주요 결과

• 제안된 모델은 공개된 트위터 기반 다중 모달 사자감지 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존 방법들을 능가한다.
• CLIP와 GPT-2를 통해 생성된 이미지 캡션 통합이 특히 미묘하거나 비유적인 사자에 대해 감지 정확도를 크게 향상시킨다.
• 일치성 점수의 시각화 결과, 구성 수준 모듈이 불일치하는 영역(예: 폭풍 이미지 속 가구)을 효과적으로 낮추어 원자 수준 어텐션을 넘어서 정확도를 향상시킨다.
• 계층적 모델링 접근법은 단일 정도 모델이 놓치는, 구어와 이미지 패치 그룹 간의 모순과 같은 복잡한 불일치를 성공적으로 탐지한다.
• 지식 기반 표현 덕분에 이미지가 모호하거나 저수준의 시각적 신호만을 포함하더라도 사자감지를 강건하게 수행할 수 있다.
• 제거 실험 결과, 이미지 캡션을 통한 지식 강화가 특히 시각적 특징만으로는 충분하지 않은 경우에 지속적인 성능 향상을 제공하는 것으로 확인되었다.