[논문 리뷰] ImageArg: A Multi-modal Tweet Dataset for Image Persuasiveness Mining

Zhexiong Liu, Meiqi Guo외 2명|arXiv (Cornell University)|2022. 09. 14.

Misinformation and Its Impacts인용 수 11

한 줄 요약

이 논문은 1,003개의 트윗에 대해 이미지 설득력, 이미지 내용, 설득 방식(이토스, 파토스, 로고스)을 주석 처리한 다중모달 데이터셋인 ImageArg를 소개한다. 텍스트 기반의 논증 탐지 기법을 시각 영역으로 확장하기 위해 새로운 주석 체계를 개발하고 다중모달 모델을 평가함으로써, 현재의 모델들이 특히 이미지 내 텍스트 요소를 인식하는 데 어려움을 겪고 있음을 밝혀내며, 전용 이미지 인코더의 필요성을 강조한다.

ABSTRACT

The growing interest in developing corpora of persuasive texts has promoted applications in automated systems, e.g., debating and essay scoring systems; however, there is little prior work mining image persuasiveness from an argumentative perspective. To expand persuasiveness mining into a multi-modal realm, we present a multi-modal dataset, ImageArg, consisting of annotations of image persuasiveness in tweets. The annotations are based on a persuasion taxonomy we developed to explore image functionalities and the means of persuasion. We benchmark image persuasiveness tasks on ImageArg using widely-used multi-modal learning methods. The experimental results show that our dataset offers a useful resource for this rich and challenging topic, and there is ample room for modeling improvement.

연구 동기 및 목표

• 소셜 미디어에서의 이미지 설득력에 관한 연구 부족을 보완하기 위해, 사회적 미디어에서의 시각적 설득에 초점을 맞춘 다중모달 데이터셋을 구축하기 위해.
• 원래 에세이에 대해 개발된 텍스트 기반 논증 주석 체계를 확장하여 트윗에서의 이미지 내용과 설득 방식을 포함하기 위해.
• 다음 네 가지 핵심 과제에 대해 다중모달 학습 모델의 벤치마크를 설정하기 위해: 입장 식별, 이미지 설득력 분류, 이미지 내용 분류, 설득 방식 식별.
• 이미지 모odal이 설득 효과성에 미치는 영향을 조사하고, 시각적 설득을 모델링하는 데 있어 핵심 과제를 규명하기 위해.
• 텍스트 입력에 기반해 설득력 있는 이미지를 추천할 수 있는 미래의 지능형 도구 개발을 가능하게 하기 위해.

제안 방법

• 트윗에서 이미지의 功能과 설득 방식(이토스, 파토스, 로고스)을 주석 처리하기 위해 새로운 설득 체계를 개발하여, 텍스트 기반 논증 체계를 시각 영역으로 확장하였다.
• 1,003개의 총기 통제 관련 트윗을 인간 평가자들이 이미지 설득력 점수, 이미지 내용(6개 클래스), 설득 방식을 주석 처리하였으며, 평가자 간 일致도 분석을 실시하였다.
• 텍스트 및 이미지 인코더(BERT 및 ResNet 등)를 조합한 다중모달 학습 프레임워크를 제안하여 입장, 설득력, 내용, 설득 방식을 분류하였다.
• 텍스트 및 시각적 표현을 융합하기 위해 다중모달 융합 전략(예: 연결 또는 주의 기반 융합)을 사용하여 후속 분류 과제를 수행하였다.
• 5겹 교차검증을 통해 AUC 및 F1 점수로 모델 성능을 평가하였으며, 다양한 모달 조합(T-M, I-M, M-M)에 대한 추상화 연구를 실시하였다.
• 훈련된 다중모달 모델을 활용해 주어진 텍스트에 대해 가장 설득력 있는 이미지와 가장 설득력이 없는 이미지를 검색하여 정성적 분석을 수행하였으며, OCR 및 시각적 상징 이해의 한계를 드러내었다.

실험 결과

연구 질문

• RQ1 이미지의 포함 여부가 트윗의 논증 설득력에 어떤 영향을 미치며, 새로운 주석 체계를 통해 이를 정량적으로 측정할 수 있는가?
• RQ2 다양한 이미지 내용 유형(예: 통계, 슬로건, 물체 등)이 특정 설득 방식(이토스, 파토스, 로고스)과 어느 정도 상관이 있는가?
• RQ3 다중모달 모델은 텍스트 전용 또는 이미지 전용 기준 모델 대비 이미지 설득력 분류에서 얼마나 잘 성과를 내는가?
• RQ4 현재의 다중모달 모델에서 이미지 인코더 능력 측면에서 이미지 설득력 분석의 주요 장애 요인는 무엇인가?
• RQ5 훈련된 모델은 주어진 트윗 텍스트에 대해 가장 설득력 있는 이미지를 효과적으로 검색할 수 있는가? 그리고 어떤 유형의 이미지가 더 자주 선택되는가?

주요 결과

• 이미지 전용 모델(I-M)은 대부분의 과제에서 텍스트 전용(T-M) 및 다중모달(M-M) 모델보다 성능이 열 劣하였으며, 일반적인 이미지 인코더(예: ImageNet 미리 학습된 모델)는 논증적 이미지 이해에는 부적합함을 시사한다.
• T-M 모델은 입장 식별 과제에서 가장 높은 AUC를 기록하여, 이미지 내용이 이 과제에서는 소음이나 중복 요소로 작용할 수 있음을 시사한다.
• M-M 모델은 로고스 과제에서 가장 높은 AUC를 기록하여, 다중모달 융합이 통계 차트를 포함한 시각적 자료로부터 효과적으로 학습할 수 있음을 보여준다.
• I-M 모델은 파토스 과제에서 T-M 모델을 초월하여 성능을 냈으며, 얼굴 표정, 장면 등 시각적 정서적 자극이 시각 인코더에 의해 텍스트만으로는 효과적으로 포착되지 않는다는 점을 시사한다.
• T-M 모델은 이토스 과제에서 가장 높은 성능을 기록하여, 이미지 인코더가 슬로건이나 증언과 같은 텍스트 요소를 인식하지 못함을 드러내며, 이는 이토스 설득에 핵심적인 요소임을 시사한다.
• 정성적 분석 결과, 모델은 특정 물체(예: 총)가 포함된 이미지를 텍스트 요소(예: 슬로건)가 포함된 이미지보다 더 효과적으로 검색하는 것으로 나타나, OCR 통합 또는 상징 인식 기능을 갖춘 이미지 인코더의 필요성을 강조한다.