[논문 리뷰] FakeNewsNet: A Data Repository with News Content, Social Context and Spatialtemporal Information for Studying Fake News on Social Media

Kai Shu, Deepak Mahudeswaran외 3명|arXiv (Cornell University)|2018. 09. 05.

Misinformation and Its Impacts참고 문헌 29인용 수 215

한 줄 요약

본 논문은 FakeNewsNet이라는 다차원 데이터 저장소를 제시한다. 이 저장소는 뉴스 콘텐츠, 사회적 맥락, 시공간 정보를 결합하여 소셜 미디어에서의 가짜 뉴스를 연구하며, 데이터셋, 분석 및 베이스라인 탐지 결과를 보여준다.

ABSTRACT

Social media has become a popular means for people to consume news. Meanwhile, it also enables the wide dissemination of fake news, i.e., news with intentionally false information, which brings significant negative effects to the society. Thus, fake news detection is attracting increasing attention. However, fake news detection is a non-trivial task, which requires multi-source information such as news content, social context, and dynamic information. First, fake news is written to fool people, which makes it difficult to detect fake news simply based on news contents. In addition to news contents, we need to explore social contexts such as user engagements and social behaviors. For example, a credible user's comment that "this is a fake news" is a strong signal for detecting fake news. Second, dynamic information such as how fake news and true news propagate and how users' opinions toward news pieces are very important for extracting useful patterns for (early) fake news detection and intervention. Thus, comprehensive datasets which contain news content, social context, and dynamic information could facilitate fake news propagation, detection, and mitigation; while to the best of our knowledge, existing datasets only contains one or two aspects. Therefore, in this paper, to facilitate fake news related researches, we provide a fake news data repository FakeNewsNet, which contains two comprehensive datasets that includes news content, social context, and dynamic information. We present a comprehensive description of datasets collection, demonstrate an exploratory analysis of this data repository from different perspectives, and discuss the benefits of FakeNewsNet for potential applications on fake news study on social media.

연구 동기 및 목표

• 콘텐츠, 사회적 맥락, 시공간 정보를 포함하는 포괄적 가짜 뉴스 데이터셋의 필요성을 제고한다.
• 두 개의 데이터셋과 풍부한 특성을 갖춘 FakeNewsNet의 구축 및 공개 배포를 기술한다.
• 데이터 속성을 특징화하는 탐색적 분석과 베이스라인 가짜 뉴스 탐지 성능을 시연한다.
• 저장소가 가능하게 하는 잠재적 응용 분야와 연구 기회를 논의한다.

제안 방법

• 엔드-투-엔드 파이프라인(FakeNewsTracker)을 사용하여 뉴스 콘텐츠, 사회적 맥락, 시공간 정보를 다차원 데이터로 통합한다.
• 팩트체크 소스(PolitiFact, GossipCop)에서 가짜 및 진짜 뉴스의 정답 라벨을 수집하고 필요시 아카이브나 웹 검색을 통해 콘텐츠를 복구한다.
• 플랫폼(예: Twitter)에서 상호작용 및 메타데이터를 수집하여 사용자 프로필, 게시물, 네트워크 정보 등 광범위한 사회적 맥락 데이터를 구성한다.
• 언어적, 시각적 등 콘텐츠 특징과 사회적 행동, 참여 패턴 등의 맥락 신호를 추출하고 요약한다.
• 콘텐츠 단독, 사회적 맥락, 그리고 이들의 융합(SAF 변형)으로 다양한 모델을 사용하여 베이스라인 가짜 뉴스 탐지를 수행한다.
• 대규모 저장소에 효율적으로 접근하고 부분 집합을 조회할 수 있도록 API 및 데이터 구조를 제공한다.

실험 결과

연구 질문

• RQ1 콘텐츠, 사회적 맥락, 시공간 차원에 걸친 특징과 신호는 가짜 뉴스와 진짜 뉴스를 구분하는 데 있어 어떤 차이와 신호를 보이는가?
• RQ2 사회적 맥락과 시간 정보를 통합하는 것이 콘텐츠 단독 모델에 비해 가짜 뉴스 탐지 성능을 어떻게 향상시키는가?
• RQ3 다차원 가짜 뉴스 데이터셋을 활용한 향후 연구를 이끄는 베이스라인 벤치마크와 특징은 무엇인가?
• RQ4 저장소가 초기 가짜 뉴스 탐지 및 확산 연구를 어떻게 지원할 수 있는가?

주요 결과

• FakeNewsNet은 PolitiFact와 GossipCop의 뉴스 콘텐츠, 사회적 맥락, 시공간 데이터를 결합하여 다면적 가짜 뉴스 연구를 가능하게 한다.
• 콘텐츠 기반 모델은 PolitiFact 및 GossipCop 베이스라인에서 약 65-66%의 정확도를 달성하고, 융합 모델(SAF)은 일반적으로 성능을 향상시킨다.
• 사회적 맥락 특징(참여 패턴)과 콘텐츠를 함께 사용하면 탐지 성능이 향상되며; SAF(Social Article Fusion)는 보고된 결과에서 PolitiFact에서 최대 0.691의 정확도, GossipCop에서 0.792의 F1을 달성한다.
• 봇 분석에 따르면 가짜 뉴스 관련 사용자에서 봇의 존재 비율이 더 높으며, 참여 유형(답글 대 리트윗)에서 뚜렷한 차이가 있다.
• 시계열 패턴은 가짜 뉴스가 실제 뉴스에 비해 빠른 리트윗 급등과 더 적은 답글을 보이는 경향이 있음을 보여주어 초기 탐지 신호의 가능성을 시사한다.
• 논문은 대규모 데이터셋의 하위 집합에 접근할 수 있는 확장 가능한 API 및 데이터 형식을 제공하여 재현성과 재사용을 촉진한다.