[논문 리뷰] Ginger Cannot Cure Cancer: Battling Fake Health News with a Comprehensive Data Repository

Enyan Dai, Yiwei Sun외 1명|arXiv (Cornell University)|2020. 01. 27.

Misinformation and Its Impacts인용 수 15

한 줄 요약

이 논문은 풍부하게 주석 처리된 뉴스 콘텐츠, 상세한 검토 설명, 소셜 미디어 참여 내역, 사용자 네트워크 데이터를 포함한, 공개 가능한 첫 번째 종합적인 가짜 건강 뉴스 레포지터리인 FakeHealth를 소개한다. 이는 설명 가능하고 지식 기반의 건강 가짜 뉴스 탐지에 기여하며, 탐색 분석을 통해 데이터셋의 품질을 검증하고 도메인 내 핵심 과제를 규명한다.

ABSTRACT

Nowadays, Internet is a primary source of attaining health information. Massive fake health news which is spreading over the Internet, has become a severe threat to public health. Numerous studies and research works have been done in fake news detection domain, however, few of them are designed to cope with the challenges in health news. For instance, the development of explainable is required for fake health news detection. To mitigate these problems, we construct a comprehensive repository, FakeHealth, which includes news contents with rich features, news reviews with detailed explanations, social engagements and a user-user social network. Moreover, exploratory analyses are conducted to understand the characteristics of the datasets, analyze useful patterns and validate the quality of the datasets for health fake news detection. We also discuss the novel and potential future research directions for the health fake news detection.

연구 동기 및 목표

• 가짜 건강 뉴스 탐지에 대한 종합적이고 다각적인 데이터셋이 부족한 문제를 보완한다.
• 설명 가능하고 지식 기반의 탐지 접근법을 지원하는 풍부하고 주석 처리된 데이터셋을 제공한다.
• 연구자들이 가짜 뉴스 확산 과정과 사용자 행동을 연구할 수 있도록 한다.
• 다양한 데이터 소스를 활용해 강력하고 해석 가능한 가짜 건강 뉴스 탐지 모델 개발을 촉진한다.
• 고품질, 확장 가능하고 개인정보 보호를 준수하는 데이터셋을 공개함으로써 향후 건강 가짜 정보 연구를 지원한다.

제안 방법

• 출판사, 이미지, 메타데이터를 포함한 뉴스 콘텐츠를 담은 두 개의 데이터셋인 HealthStory와 HealthRelease를 구축했다.
• 트위터에서 500만 개의 트윗, 29,000개의 댓글, 14,000개의 재트윗, 27,000개의 사용자 프로필(시간선과 친구 목록 포함)을 수집하고 구조화했다.
• 신뢰성과 편향을 평가하기 위해 10개의 표준 평가 기준(C1–C8, S9–S10, R9–R10)을 사용해 각 뉴스 항목에 대한 세부 검토를 주석 처리했다.
• 사용자 프라이버시를 보호하기 위해 소셜 참여 및 사용자 네트워크의 ID만 저장했으며, 트위터의 공개 API를 통해 전체 데이터에 대한 API 액세스를 제공했다.
• 프로그램적 접근을 위해 구조화된 JSON 파일을 사용해 네 개의 주요 폴더(콘텐츠, 검토, 참여, 사용자 네트워크)로 데이터를 정리했다.
• 레포지터리의 버전 관리를 통해 재현 가능성을 확보하고, 지속적인 사용성을 유지하기 위해 유지보수했다.

실험 결과

연구 질문

• RQ1 소셜 미디어에서 가짜 건강 뉴스의 핵심 특성과 확산 패턴은 무엇인가?
• RQ2 소셜 미디어 사용자들은 진짜 뉴스와 가짜 뉴스를 어떻게 다루며, 봇과 일반 사용자가 어떤 역할을 하는가?
• RQ3 뉴스 검토에서 가장 강하게 가짜 뉴스와 진짜 뉴스를 구분하는 평가 기준은 무엇인가?
• RQ4 주석 처리된 검토 기준과 소셜 컨텍스트를 활용해 설명 가능한 탐지 모델을 효과적으로 훈련시킬 수 있는가?
• RQ5 검토 설명에서 유도된 지식 그래프는 가짜 뉴스 탐지의 해석 가능성과 정확도를 어떻게 향상시킬 수 있는가?

주요 결과

• FakeHealth 레포지터리는 500만 개의 트윗, 29,000개의 댓글, 14,000개의 재트윗, 27,000개의 사용자 프로필(시간선과 친구 목록 포함)을 포함하여 대규모 사회적 네트워크 분석을 가능하게 한다.
• 뉴스 검토는 증거의 질, 이해관계 공개 여부, 과도한 뉴스성 언어 등 10개의 평가 기준을 포함하며, 설명 가능한 탐지의 기반을 마련한다.
• 탐색 분석을 통해 일반 사용자와 봇 모두 가짜 및 진짜 건강 뉴스의 확산에 기여하며, 확산 패턴에 상당한 차이가 있음을 확인했다.
• 이 데이터셋은 출판사의 신뢰성, 시각적 콘텐츠, 소셜 컨텍스트를 활용하는 탐지 모델을 지원하여 텍스트 중심 접근 방식을 뛰어넘는 성능 향상을 가능하게 한다.
• 구조화된 검토 주석의 포함으로 인해, 위험의 오해 표현이나 자금 지원 공개 부족과 같은 뉴스의 특정 결함을 식별하는 모델 훈련이 가능해졌다.
• 이 데이터셋의 설계는 검토에서 배경 지식을 추출해 설명 가능한 건강 지식 그래프를 구축함으로써 향후 지식 기반 탐지 연구를 가능하게 한다.