[논문 리뷰] FR-Detect: A Multi-Modal Framework for Early Fake News Detection on Social Media Using Publishers Features

Ali Jarrahi, Leila Safari|arXiv (Cornell University)|2021. 09. 10.

Misinformation and Its Impacts참고 문헌 46인용 수 6

한 줄 요약

FR-Detect는 뉴스 발행자 고유의 특징인 '활동 신뢰도'와 '영향력'을 텍스트 콘텐츠 표현과 함께 활용하는 다중 모odal 딥러닝 프레임워크로, 소셜 미디어에서 조기 가짜 뉴스 탐지에 사용된다. 이는 문장 수준의 CNN 기반 텍스트 인코딩과 사용자 관련 특징을 통합함으로써, 콘텐츠 전용 기준 모델 대비 정확도를 최대 13% 향상시키고 F1 점수를 최대 29% 향상시킨다.

ABSTRACT

In recent years, with the expansion of the Internet and attractive social media infrastructures, people prefer to follow the news through these media. Despite the many advantages of these media in the news field, the lack of any control and verification mechanism has led to the spread of fake news, as one of the most important threats to democracy, economy, journalism and freedom of expression. Designing and using automatic methods to detect fake news on social media has become a significant challenge. In this paper, we examine the publishers' role in detecting fake news on social media. We also suggest a high accurate multi-modal framework, namely FR-Detect, using user-related and content-related features with early detection capability. For this purpose, two new user-related features, namely Activity Credibility and Influence, have been introduced for publishers. Furthermore, a sentence-level convolutional neural network is provided to combine these features with latent textual content features properly. Experimental results have shown that the publishers' features can improve the performance of content-based models by up to 13% and 29% in accuracy and F1-score, respectively.

연구 동기 및 목표

• 검증 메커니즘이 없는 탓에 증가하는 소셜 미디어 플랫폼에서의 가짜 뉴스 위협을 해결하기 위해.
• 발행자 수준의 행동 및 영향력 특징을 통합함으로써 가짜 뉴스의 조기 탐지 성능을 향상시키기 위해.
• 사용자 관련 및 콘텐츠 관련 특징을 효과적으로 융합하는 다중 모달 프레임워크를 개발하기 위해.
• 발행자 신뢰도 지표를 통해 콘텐츠 기반 가짜 뉴스 탐지 모델의 성능을 향상시키기 위해.

제안 방법

• 활동 신뢰도(게시 빈도와 일관성 측정)와 영향력(콘텐츠의 영향 범위 및 참여도 평가)이라는 두 가지 새로운 발행자 고유 특징을 도입한다.
• 뉴스 콘텐츠에서 잠재적 텍스트 특징을 추출하고 통합하기 위해 문장 수준의 컨volutional 신경망(CNN)을 사용한다.
• 신규로 정의된 발행자 특징을 다중 모달 융합 기반으로 깊이 있는 텍스트 표현과 통합한다.
• 실제 뉴스와 가짜 뉴스의 레이블이 부여된 데이터셋을 사용해 엔드 투 엔드로 FR-Detect 모델을 훈련하여 조기 탐지 최적화를 이룬다.
• 텍스트 특징와 발행자 특징의 기여도를 정렬하고 가중치를 조절하기 위해 어텐션 메커니즘 또는 연결 전략을 활용한다.

실험 결과

연구 질문

• RQ1 활동 신뢰도와 영향력과 같은 발행자 수준의 특징이 조기 가짜 뉴스 탐지 성능을 향상시킬 수 있는가?
• RQ2 사용자 관련 및 콘텐츠 관련 특징의 융합이 다중 모달 딥러닝 프레임워크에서 가짜 뉴스 탐지에 얼마나 효과적인가?
• RQ3 발행자 특징이 콘텐츠 기반 탐지 모델의 정확도와 F1 점수를 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 FR-Detect 프레임워크는 최신 기술 대비 뛰어난 조기 탐지 능력을 확보하고 있는가?

주요 결과

• 발행자 특징을 통합함으로써 콘텐츠 전용 모델 대비 탐지 정확도가 최대 13% 향상되었다.
• 발행자 특징 통합 시 탐지 모델의 F1 점수가 최대 29% 향상되었다.
• 제안된 프레임워크는 가짜 뉴스가 초기 배포 단계에서 탐지 가능한 강력한 조기 탐지 능력을 보였다.
• 활동 신뢰도와 영향력과 같은 발행자 특징은 뉴스 신뢰도의 중요한 지표로 확인되었다.
• 텍스트 특징와 발행자 특징의 다중 모달 융합은 정확도와 F1 점수 측면에서 단일 모달 기준 모델을 능가하는 성능을 보였다.