[논문 리뷰] A Survey on Stance Detection for Mis- and Disinformation Identification

Momchil Hardalov, Arnav Arora외 2명|arXiv (Cornell University)|2021. 02. 27.

Misinformation and Its Impacts인용 수 6

한 줄 요약

이 종합 검토는 다국어 및 다중모态 환경에서 위성 감지가 위조 정보 및 오락 정보를 식별하는 데서 수행하는 역할을 종합적으로 분석한다. 작업 정의, 데이터셋, 방법론을 종합적으로 정리하며, 핵심 과제와 향후 방향성을 규명한다. 사실 확인 파이프라인과 진실성 분류 시스템에서 위성 감지의 중요성을 강조한다.

ABSTRACT

Understanding attitudes expressed in texts, also known as stance detection, plays an important role in systems for detecting false information online, be it misinformation (unintentionally false) or disinformation (intentionally false information). Stance detection has been framed in different ways, including (a) as a component of fact-checking, rumour detection, and detecting previously fact-checked claims, or (b) as a task in its own right. While there have been prior efforts to contrast stance detection with other related tasks such as argumentation mining and sentiment analysis, there is no existing survey on examining the relationship between stance detection and mis- and disinformation detection. Here, we aim to bridge this gap by reviewing and analysing existing work in this area, with mis- and disinformation in focus, and discussing lessons learnt and future challenges.

연구 동기 및 목표

• 기존 문헌의 격차를 메우기 위해 위성 감지가 위조 정보 및 오락 정보 탐지에서 수행하는 역할을 체계적으로 분석하는 것.
• 사실 확인, 소문 탐지, 감성 분석과 같은 관련 작업과의 관계를 명확히 하는 것.
• 위조 정보 맥락에서 위성 감지의 기존 데이터셋, 방법론, 평가 기준을 식별하고 분류하는 것.
• 현재 접근 방식으로부터 얻은 교훈을 도출하고, 분야 내 주요 과제와 향후 연구 방향을 제시하는 것.
• 자동 사실 확인 및 신뢰성 평가를 위한 종단 간 시스템에 위성 감지가 어떻게 통합되는지 보여주는 것.

제안 방법

• 영어 및 아랍어, 덴마크어, 크로아티아어 등 비영어 자료를 포함한 12개 언어에서 17개 데이터셋을 체계적으로 검토하여 작업 정의 및 데이터 특성 분석.
• 위성 감지 작업을 두 가지 주요 프레임워크로 분류: (1) 독립 작업으로서의 위성 감지, (2) 사실 확인 또는 소문 검증 파이프라인의 구성 요소로서의 위성 감지.
• 기존 방법을 자연어 처리 기법에 따라 매핑: 예를 들어 다국어 BERT와 같은 사전 훈련된 문장 임베딩, 신경망, 다중 작업 학습 설정.
• 이미지 및 영상 콘텐츠(예: 트위터에서의 콘텐츠)를 활용한 다중모달 및 다국어 접근 방식 분석.
• CredEye, FAKTA, Factual News Graph(FANG)와 같은 시스템 평가: 위성 예측을 자료 신뢰성, 사용자 행동, 시간 동적 특성과 통합.
• 신뢰성 평가에 기여하는 미디어 및 사용자 프로파일링 기법 조사: 위성 감지와 인프라, 도메인, 호스팅 정보를 융합.

실험 결과

연구 질문

• RQ1 위조 및 오락 정보 탐지 맥락에서 위성 감지는 어떻게 정의되고 구현되는가?
• RQ2 위성 감지가 독립 작업으로서의 위성 감지와 사실 확인 또는 소문 검증 시스템의 구성 요소로서의 위성 감지 사이에 어떤 주요 차이점이 있는가?
• RQ3 실제 위조 정보 상황을 가장 잘 반영하는 데이터셋은 무엇이며, 언어 및 미디어 유형에 따라 어떻게 다릅니까?
• RQ4 현재 모델은 자료 신뢰성, 사용자 행동, 시간 동적 특성과 같은 다른 신호와 위성 감지를 어떻게 통합합니까?
• RQ5 위조 및 오락 정보 탐지에서 위성 감지의 강건성과 일반화 능력을 향상시키기 위한 주요 과제와 열린 연구 방향은 무엇입니까?

주요 결과

• 위성 감지는 사실 확인 파이프라인에서 핵심 구성 요소이며, FAKTA 및 FANG와 같은 시스템은 언어적 및 맥락적 특성과 함께 위성 레이블을 통합함으로써 진실성 예측 성능을 향상시켰다.
• FEVER 및 FNC-1 데이터셋은 가장 널리 사용되는 벤치마크이며, FEVER는 185,000개의 인스턴스, FNC-1은 75,000개의 주장을 포함하여 대규모 위성 감지 및 사실성 예측을 가능하게 한다.
• 다국어 및 다국어 위성 감지는 여전히 개발이 부족한 분야이며, 아랍어Stance 및 DAST와 같은 몇몇 데이터셋 외에는 비영어 언어를 지원하는 데이터셋이 거의 없다.
• 도메인, 호스팅 정보, 유튜브 메타데이터와 같은 인프라 신호를 위성 감지와 융합한 미디어 프로파일링 시스템은 저신뢰성 매체 탐지에 뛰어난 성능을 보였다.
• sockpuppet 및 조작된 위성 정보 유포 캠페인 탐지 기반의 사용자 프로파일링 기법은 위성 기반 행동 분석에서 크게 이점을 얻었다.
• 다중 작업 설정에서 위성 감지, 사실성, 편향을 함께 모델링하면 성능 향상이 이루어지며, 이로 인해 위조 정보 및 미디어 편향 모두를 더 정확하게 탐지할 수 있었다.