[논문 리뷰] A Survey on Multimodal Disinformation Detection

Firoj Alam, Stefano Cresci외 7명|arXiv (Cornell University)|2021. 03. 13.

Misinformation and Its Impacts참고 문헌 83인용 수 13

한 줄 요약

이 종합적 검토에서는 다중모달 디스인포메이션 탐지에 대해 종합적인 분석을 제시하며, 텍스트, 이미지, 영상, 오디오, 사회적 네트워크 구조 및 시간적 데이터 전반에서 사실성과 유해성에 대해 통합적으로 평가하는 프레임워크의 필요성을 주장한다. 이 연구는 맥락화, 편향, 설명 가능성이 떨어지는 모델의 부족과 같은 주요 과제를 밝히며, 정교한 분류와 투명하고 책임감 있는 시스템을 통해 탐지 정확도 향상과 윤리적인 구현을 위한 필요성을 제기한다.

ABSTRACT

Recent years have witnessed the proliferation of offensive content online such as fake news, propaganda, misinformation, and disinformation. While initially this was mostly about textual content, over time images and videos gained popularity, as they are much easier to consume, attract more attention, and spread further than text. As a result, researchers started leveraging different modalities and combinations thereof to tackle online multimodal offensive content. In this study, we offer a survey on the state-of-the-art on multimodal disinformation detection covering various combinations of modalities: text, images, speech, video, social media network structure, and temporal information. Moreover, while some studies focused on factuality, others investigated how harmful the content is. While these two components in the definition of disinformation (i) factuality, and (ii) harmfulness, are equally important, they are typically studied in isolation. Thus, we argue for the need to tackle disinformation detection by taking into account multiple modalities as well as both factuality and harmfulness, in the same framework. Finally, we discuss current challenges and future research directions

연구 동기 및 목표

• 기존 연구의 격차를 메우기 위해 통합된 다중모달 디스인포메이션 탐지 프레임워크에서 사실성과 유해성을 동시에 통합하는 것.
• 텍스트, 영상, 오디오, 사회적 네트워크 구조 및 시간적 데이터 등 다양한 모달이 디스인포메이션 탐지 향상에 기여하는 방식을 분석하는 것.
• 현재의 데이터셋이 일반적으로 2~3개의 모달만 포함하고 있으며 사실성과 유해성에 대한 레이블이 부족하여 연구의 일반화 능력이 제한됨을 드러내는 것.
• 맥락화, 편향, 문화적 인식, 설명 가능하고 정교한 탐지 모델이 필요한 과제를 특정화하는 것.
• 해석 가능한 추론을 제공하는 투명하고 책임감 있으며 윤리적인 AI 시스템을 통해 디스인포메이션 경고의 신뢰성과 윤리적 구현을 높이기 위한 주장

제안 방법

• 텍스트, 이미지, 영상, 오디오, 사회 네트워크, 시간적 동역학 등 다양한 모달에서 다중모달 디스인포메이션 탐지 분야의 최신 기법을 체계적으로 조사하는 것.
• 디스인포메이션 확산의 다양한 단계에서 사용자, 콘텐츠, 확산 특성의 기여도를 분석하며, 초기 단계의 탐지에서는 사용자 및 콘텐츠 특성에 더 의존함을 밝히는 것.
• 텍스트, 시각적 신호, 오디오 및 메타데이터 신호를 융합하여 사실성 평가를 향상시키는 다중모달 융합 기법을 평가하는 것.
• 이진 분류에서 다중 클래스 또는 순서형 회귀로의 전환을 제안하여 정교한 디스인포메이션 분류(예: 풍자, 오해 유도, 사실관계 오류)를 가능하게 하는 것.
• 사회적 맥락, 확산 동역학 및 사용자 반응 스레드를 통합하여 디스인포메이션의 맥락적 이해를 향상시키는 것.
• 모델의 해석 가능성과 책임감을 높이기 위해 인간이 레이블링한 설명과 실제 뉴스 기반 참조를 포함한 데이터셋의 필요성을 강조하는 것.

실험 결과

연구 질문

• RQ1 텍스트, 이미지, 영상, 오디오, 네트워크, 시간 등 다양한 모달 조합이 디스인포메이션 탐지에 어떻게 기여하는가?
• RQ2 다중모달 디스인포메이션에서 사실성과 유해성이 얼마나 자주 함께 발생하며, 언어 및 문화에 따라 어떻게 다를까?
• RQ3 맥락, 편향, 해석 가능성 측면에서 현재의 다중모달 디스인포메이션 탐지 시스템의 주요 한계는 무엇인가?
• RQ4 확산이 광범위해지기 전에 사용자 및 콘텐츠 특성을 활용해 초기 단계의 디스인포메이션 탐지를 어떻게 향상시킬 수 있는가?
• RQ5 정교한 분류와 설명 가능한 AI는 디스인포메이션 탐지 시스템의 신뢰성과 윤리적인 구현에 어떤 역할을 할 수 있는가?

주요 결과

• 사실성과 유해성은 모두 디스인포메이션의 핵심 요소이지만, 일반적으로 별도로 연구되며, 통합 모델링은 아직 미비하지만 필수적이다.
• 초기 디스인포메이션 탐지에서는 사용자 및 콘텐츠 특성에 크게 의존하지만, 후기 단계에서는 확산 및 시간적 네트워크 특성이 더 큰 기여를 한다.
• 현재의 대부분의 모델이 이미지나 영상을 활용하는 비율이 매우 낮지만, 이는 디스인포메이션 확산에 있어 높은 영향력과 신뢰도를 지닌다.
• 현재의 다중모달 데이터셋은 일반적으로 2~3개의 모달만 포함하고 있으며 사실성과 유해성에 대한 레이블이 부족하여 모델의 일반화 능력이 제한된다.
• 사실성과 유해성 사이에 뚜렷한 상관관계가 존재하며(예: 히잡어로 작성된 가짜 콘텐츠 중 56%가 유해했고, 영어로는 24%였음), 이는 언어 및 문화에 따라 다른 패턴을 띤다.
• 실제 뉴스 기반 증거 제공 및 위조 콘텐츠 구성 요소 탐지 기능을 포함한 설명 가능하고 투명한 모델이 절실하게 필요하다.