[논문 리뷰] Learning Class-specific Word Representations for Early Detection of Hoaxes in Social Media.

Arkaitz Zubiaga|arXiv (Cornell University)|2018. 01. 22.

Misinformation and Its Impacts참고 문헌 59인용 수 5

한 줄 요약

이 논문은 위키데이터에서 유래한 4,007건의 보고서와 1,300만 건의 트윗(그 중 15%가 가짜)으로 구성된 대규모 데이터셋을 기반으로 한 클래스별 단어 임베딩(multiw2v)을 사용하여 소셜 미디어에서 조기 가짜 뉴스 탐지에 대한 반자동 방법을 제안한다. 이 방법은 첫 트윗 이후 10분 이내에 72% 이상의 F1 스코어를 달성하며, 기준 모델들을 능가하며, 현실적인 진위 분포를 반영하는 공개된 벤치마크 데이터셋을 제공한다.

ABSTRACT

As people increasingly use social media as a source for news consumption, its unmoderated nature enables the diffusion of hoaxes, which in turn jeopardises the credibility of information gathered from social media platforms. To mitigate this problem, we study the development of a hoax detection system that can distinguish true and false reports early on. We introduce a semi-automated approach that leverages the Wikidata knowledge base to build large-scale datasets for veracity classification, which enables us to create a dataset with 4,007 reports including over 13 million tweets, 15% of which are fake. We describe a method for learning class-specific word representations using word embeddings, which we call multiw2v. Our approach achieves competitive results with F1 scores over 72% within 10 minutes of the first tweet being posted, outperforming other baselines. Our dataset represents a realistic scenario with a real distribution of true and false stories, which we release for further use as a benchmark in future research.

연구 동기 및 목표

• 소셜 미디어에서 퍼지는 가짜 뉴스가 정보 신뢰성에 악영향을 미치는 문제를 해결하기 위해.
• 확산 주기에 들어서자마자 가짜 뉴스를 조기에 탐지할 수 있는 시스템을 개발하기 위해.
• 위키데이터를 활용하여 진위 분류를 위한 대규모이고 현실적인 데이터셋을 생성하고 자동화된 훈련 데이터 생성을 가능하게 하기 위해.
• 가짜 뉴스와 진짜 뉴스 간의 의미적 차이를 잘 반영하는 클래스별 단어 표현을 통해 탐지 성능을 향상시키기 위해.
• 향후 연구를 위한 조기 가짜 뉴스 탐지 분야의 벤치마크 데이터셋을 공개하기 위해.

제안 방법

• 위키데이터를 활용하여 4,007건의 뉴스 보고서와 관련된 트윗을 자동으로 대규모 데이터셋으로 구성한다.
• 1,300만 건이 넘는 트윗 데이터셋을 구성하며, 그 중 15%는 가짜로 레이블링되어 실제 분포를 반영한다.
• 진짜 뉴스와 가짜 뉴스 간의 의미적 차이를 잘 포착하는 클래스별 단어 임베딩을 학습하는 multiw2v 방법을 제안한다.
• 이러한 임베딩을 기반으로 초기 시점 특징을 활용해 가짜 뉴스와 비가짜 뉴스를 구분하는 분류기 모델을 훈련시킨다.
• 위키데이터의 구조화된 사실을 기반으로 반자동 파이프라인을 통해 보고서를 레이블링하여 스케일이 가능한 데이터 수집을 가능하게 한다.
• 첫 트윗 이후 10분 이내 성능을 측정할 수 있도록 시간 인식 평가 프로토콜을 적용한다.

실험 결과

연구 질문

• RQ1 위키데이터를 활용한 반자동 접근 방식이 현실적이고 대규모의 데이터셋을 생성할 수 있는가?
• RQ2 기존의 단어 임베딩과 비교해 클래스별 단어 표현(multiw2v)이 조기 탐지 성능을 향상시킬 수 있는가?
• RQ3 제안된 방법이 뉴스의 첫 트윗 이후 10분 이내에 가짜 뉴스를 탐지하는 데 얼마나 성능을 내는가?
• RQ4 기존 기준 모델들과 비교해 F1 스코어와 조기 탐지 능력 측면에서 모델 성능은 어떠한가?
• RQ5 이 데이터셋이 현실 세계의 진위 뉴스 분포를 얼마나 잘 반영하고 있는가?

주요 결과

• 제안된 multiw2v 방법은 첫 트윗 이후 10분 이내에 72% 이상의 F1 스코어를 달성하여 강력한 조기 탐지 능력을 입증한다.
• 데이터셋은 4,007건의 보고서와 1,300만 건이 넘는 트윗을 포함하며, 그 중 15%는 가짜로 레이블링되어 가짜 콘텐츠의 현실적인 분포를 반영한다.
• 기준 모델 대비 성능이 뛰어나, 클래스별 단어 표현이 탐지 성능 향상에 기여한다는 것을 시사한다.
• 위키데이터의 활용은 진위 분류를 위한 대규모 고품질 훈련 데이터셋을 스케일이 가능하게 반자동으로 생성할 수 있도록 한다.
• 데이터셋은 벤치마크로 공개되어 재현성과 향후 조기 가짜 뉴스 탐지 분야의 연구를 지원한다.
• 이 방법은 저지연 탐지에서 뛰어난 강건성을 보이며, 소셜 미디어 플랫폼에서 실시간 배포에 적합하다.