[논문 리뷰] Multilingual Multimodal Digital Deception Detection and Disinformation Spread across Social Platforms

Maria Glenski, Ellyn Ayton외 2명|arXiv (Cornell University)|2019. 09. 12.

Misinformation and Its Impacts참고 문헌 22인용 수 10

한 줄 요약

이 논문은 텍스트, 이미지, 그리고 다중 플랫폼 확산 패턴을 통합하여 소셜 미디어 플랫폼 전반에서 디지털 기만(예: 허위정보, 선전, 가짜 뉴스)을 탐지하기 위한 다국어 및 다모odal 모델을 제안한다. 이는 이진 탐지에서 95%의 정확도와 다국어 분류에서 0.76의 매크로 F1을 달성하며, 단일 모odal 접근 방식보다 통합 텍스트-이미지 모델이 더 우수함을 입증하고, 다양한 언어와 플랫폼에서 기만의 핵심 언어적 및 행동적 지표를 규명한다.

ABSTRACT

Our main contribution in this work is novel results of multilingual models that go beyond typical applications of rumor or misinformation detection in English social news content to identify fine-grained classes of digital deception across multiple languages (e.g. Russian, Spanish, etc.). In addition, we present models for multimodal deception detection from images and text and discuss the limitations of image only and text only models. Finally, we elaborate on the ongoing work on measuring deceptive content (in particular disinformation) spread across social platforms.

연구 동기 및 목표

• 영어 중심의 연구를 넘어 다국어 기반의 디지털 기만의 세분화된 유형(예: 선전, 가짜 뉴스, 풍자)을 탐지할 수 있는 다국어 모델 개발
• 텍스트 및 시각적 특징을 융합하여 다모달 기만을 분석하고, 단일 모달 모델 대비 성능 평가
• 다양한 인구 통계 및 플랫폼 간 신뢰할 수 있는 소스와 기만적 소스의 사용자 참여도 및 확산 패턴 분석
• 정보 확산 및 조율된 행동을 위한 통합 프레임워크를 활용해 다중 플랫폼 허위정보 확산 측정
• ErrFILTER와 같은 도구 개발을 통해 기만적 콘텐츠와 그 확산 양상에 대한 상호작용 분석 가능

제안 방법

• 다국어 표현을 위해 문자 수준 임베딩과 DeepWalk 기반 네트워크 특징을 사용하여 다국어 텍스트 분류 모델 훈련
• 주의 메커니즘을 활용해 텍스트 및 시각적 특징을 융합하는 통합 다모달 모델 구축하여 기만 탐지 성능 향상
• 콘텐츠 수준이 아닌 소스 기반 레이블링을 통해 기만 콘텐츠 확산 배경의 의도를 명시하여 세분화된 분류 가능
• 다양한 플랫폼에서 신뢰할 수 있는 소스와 기만적 소스 간 확산 패턴을 비교하기 위해 1,100만 건의 소셜 미디어 게시물 분석
• DARPA SocialSim 프로그램의 일환으로 다중 플랫폼 허위정보 확산을 추적하기 위한 통합 프레임워크 개발(조율된 사용자 행동 및 URL 확산 포함)
• 기만적 콘텐츠 및 모델 행동을 시각화하고 분석할 수 있는 상호작용 도구 ErrFILTER 개발

실험 결과

연구 질문

• RQ1 다국어 소셜 미디어 콘텐츠에서 디지털 기만의 하위 유형(예: 풍자, 선전, 가짜 뉴스) 간 언어적 지표는 어떻게 다름?
• RQ2 텍스트와 이미지 특징을 융합한 다모달 모델이 기만 탐지에서 단일 모달 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ3 다양한 인구 통계 및 플랫폼 간 기만적 뉴스 소스와 신뢰할 수 있는 소스의 사용자 참여도 및 확산 행동에는 어떤 차이가 있는가?
• RQ4 허위정보는 트위터, 유튜브, 테레그램과 같은 플랫폼 간 어떻게 확산되며, 조율된 계정과 공유된 URL은 어떤 역할을 하는가?
• RQ5 위기 상황 동안 인터넷 장애가 허위정보 확산에 어떤 영향을 미치며, 이를 어떻게 측정할 수 있는가?

주요 결과

• 최고의 성능을 보인 이진 탐지 모델은 영어 기반에서 여러 하위 유형의 기만 콘텐츠를 식별하는 데 95%의 정확도와 0.91의 F1 스코어를 달성했다.
• 텍스트 및 이미지 특징을 융합한 다모달 모델은 기만 대비 신뢰성 있는 콘텐츠의 이진 분류에서 F1 스코어 0.74를 기록하며, 텍스트 전용 및 이미지 전용 모델보다 뛰어난 성능을 보였다.
• 텍스트 전용 모델은 이미지 전용 모델 대비 F-측정에서 3~13% 높은 성능을 보였으며, 이는 기만 탐지에서 텍스트가 여전히 더 정보가 많음을 시사한다.
• 다국어 환경에서 문자 수준 임베딩과 DeepWalk 특징을 사용한 모델은 4-way 및 5-way 분류 작업 모두에서 매크로 F1 0.76을 달성했다.
• 저소득 및 낮은 교육 수준의 인구 집단에서 특히 활동성이 높은 소수의 사용자들이 기만적 콘텐츠 확산의 대부분을 담당했다.
• 로봇 계정은 인간 사용자와는 다른 참여 패턴을 보였으며, 트위터와 유튜브 등 다양한 플랫폼 간 기만 콘텐츠에 대한 반응은 일관성을 보였다.