[논문 리뷰] The Role of User Profile for Fake News Detection

Kai Shu, Xinyi Zhou외 3명|arXiv (Cornell University)|2019. 04. 30.

Misinformation and Its Impacts참고 문헌 32인용 수 17

한 줄 요약

이 논문은 소셜 미디어에서의 공유 행동을 분석하여 사용자 프로필이 가짜 뉴스 탐지에 미치는 역할을 조사한다. 가짜 뉴스나 진짜 뉴스를 더 많이 공유할 가능성이 높은 사용자를 식별하기 위해 공유 행동을 분석한다. 게시글 수, 정치적 편향, 성격 특성 등의 명시적 및 암시적 사용자 프로필 특징을 추출하며, 이러한 특징이 가짜 뉴스 분류 성능을 크게 향상시켜 여러 학습 알고리즘에서 평균 F1 점수 0.90 이상을 달성함을 입증한다. 특히 암시적 특징이 명시적 특징보다 더 높은 분류 능력을 보임을 확인한다.

ABSTRACT

Consuming news from social media is becoming increasingly popular. Social media appeals to users due to its fast dissemination of information, low cost, and easy access. However, social media also enables the widespread of fake news. Because of the detrimental societal effects of fake news, detecting fake news has attracted increasing attention. However, the detection performance only using news contents is generally not satisfactory as fake news is written to mimic true news. Thus, there is a need for an in-depth understanding on the relationship between user profiles on social media and fake news. In this paper, we study the challenging problem of understanding and exploiting user profiles on social media for fake news detection. In an attempt to understand connections between user profiles and fake news, first, we measure users' sharing behaviors on social media and group representative users who are more likely to share fake and real news; then, we perform a comparative analysis of explicit and implicit profile features between these user groups, which reveals their potential to help differentiate fake news from real news. To exploit user profile features, we demonstrate the usefulness of these user profile features in a fake news classification task. We further validate the effectiveness of these features through feature importance analysis. The findings of this work lay the foundation for deeper exploration of user profile features of social media and enhance the capabilities for fake news detection.

연구 동기 및 목표

• 소셜 미디어 사용자 프로필과 가짜 뉴스 또는 진짜 뉴스 공유 간의 관계를 이해하는 것.
• 가짜 뉴스를 공유하는 사용자와 진짜 뉴스를 공유하는 사용자를 구분하는 데 기여하는 명시적 및 암시적 사용자 프로필 특징을 특정하고 특성화하는 것.
• 콘텐츠 기반 방법과 비교할 때 사용자 프로필 특징이 가짜 뉴스 탐지 성능 향상에 얼마나 효과적인지 평가하는 것.
• 모델의 강건성과 해석 가능성 향상을 위해 사용자 프로필을 활용하는 원칙적이고 해석 가능한 프레임워크를 제공하는 것.

제안 방법

• 논문은 Politifact와 GossipCop에서 실제 데이터셋을 구축하여 가짜 뉴스와 진짜 뉴스에 대한 신뢰할 수 있는 기준 데이터를 확보한다.
• 절대적 및 상대적 지표를 사용해 사용자의 공유 행동을 측정함으로써, 가짜 뉴스 또는 진짜 뉴스를 더 많이 공유할 가능성이 높은 대표적 사용자 집단을 식별한다.
• 명시적 프로필 특징(예: 게시글 수, 팔로워 수)은 사용자 메타데이터에서 직접 추출된다.
• 암시적 프로필 특징(예: 정치적 편향, 성격, 나이, 성별)은 사용자 생성 텍스트 및 사회적 신호를 기반으로 NLP 및 기계학습 기법을 사용해 유추된다.
• 가짜 뉴스 공유자와 진짜 뉴스 공유자 간의 특징 분포 차이를 평가하기 위해 비교 통계 분석을 수행한다.
• 다양한 학습 알고리즘을 사용한 분류 실험과 특징 기여도 분석을 통해 사용자 프로필 특징의 실용성과 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 어떤 사용자가 가짜 뉴스나 진짜 뉴스를 더 많이 공유할 가능성이 높은가?
• RQ2 가짜 뉴스나 진짜 뉴스를 더 많이 공유할 가능성이 높은 사용자의 특성은 무엇이며, 이들의 프로필 특징은 유의미하게 다를까?
• RQ3 사용자 프로필 특징은 가짜 뉴스 탐지에 효과적으로 활용될 수 있으며, 콘텐츠 기반 특징과 비교해 어떻게 성능을 냈는가?

주요 결과

• 가짜 뉴스를 공유하는 사용자들은 진짜 뉴스를 공유하는 사용자들과는 다른 프로필 특징을 지니며, 명시적 및 암시적 특징 모두에서 통계적으로 유의미한 차이를 보인다.
• 암시적 프로필 특징—예를 들어 정치적 편향이나 성격 특성—은 명시적 특징보다 가짜 뉴스와 진짜 뉴스를 더 잘 구분하는 데 더 높은 분류 능력을 보인다.
• 사용자 프로필 특징은 다양한 학습 알고리즘에서 일관되게 가짜 뉴스 탐지 성능을 향상시키며, 평균 F1 점수 0.90 이상을 달성한다.
• 제안된 사용자 프로필 특징은 가짜 뉴스 분류 과제에서 최신 기술 기반의 콘텐츠 기반 특징을 능가한다.
• 특징 기여도 분석 결과, 암시적 특징이 명시적 특징보다 탐지 성능에 더 크게 기여함을 확인하였으며, 이는 모델의 해석 가능성과 강건성 향상에 기여한다.