[논문 리뷰] Methods of Informational Trends Analytics and Fake News Detection on Twitter

Bohdan M. Pavlyshenko|arXiv (Cornell University)|2022. 04. 11.

Information Systems and Technology Applications인용 수 5

한 줄 요약

이 논문은 2022년 러시아 우크라이나 침공과 관련된 트위터에서 위조 및 조작된 뉴스를 탐지하기 위해 DistilBERT, 사용자 재트윗 임베딩, SVD 처리된 TF-IDF 특징을 조합한 하이브리드 딥러닝 모델을 제안한다. 빈도 있는 항목집합 분석과 그래프 기반의 커뮤니티 탐지 기법을 통합하여 의미적 구조와 의심스러운 사용자 네트워크를 밝혀내며, 다중 모odal 특징 공학과 재트윗 행동의 구조적 분석을 통해 선전 경향의 향상된 탐지를 실현한다.

ABSTRACT

In the paper, different approaches for the analysis of news trends on Twitter has been considered. For the analysis and case study, informational trends on Twitter caused by Russian invasion of Ukraine in 2022 year have been studied. A deep learning approach for fake news detection has been analyzed. The use of the theory of frequent itemsets and association rules, graph theory for news trends analytics have been considered.

연구 동기 및 목표

• 2022년 러시아의 우크라이나 침공과 관련된 트위터에서 조작된 뉴스 트렌드를 탐지하고 분석하기.
• 텍스트, 사용자 행동, 구조적 네트워크 특징을 활용하는 다중 구성 요소 딥러닝 모델을 개발하여 위조 뉴스 탐지하기.
• 빈도 있는 항목집합 및 연관 규칙 마이닝을 적용하여 선전 서사의 의미적 패턴을 밝혀내기.
• 그래프 이론과 Walktrap 및 Fruchterman-Reingold와 같은 커뮤니티 탐지 알고리즘을 사용하여 의심스러운 사용자 커뮤니티 식별하기.
• 연관 규칙의 지지도 및 신뢰도와 같은 정량적 지표가 모델 성능 향상에 기여하는 정도 평가하기.

제안 방법

• 세 개의 스트림으로 구성된 딥 신경망을 구축한다: 하나는 맥락적 트윗 임베딩을 위한 DistilBERT, 다른 하나는 재트윗자들로부터의 단어 및 사용자명 임베딩 평균화, 세 번째는 재트윗자 사용자명의 TF-IDF 행렬의 SVD 성분을 사용한다.
• 트위터 API v2를 사용하여 주제 키워드 쿼리(예: 'ukraine nazi', 'ukraine biological weapon')를 통해 트윗을 수집하며, 대소문자 구분 없이 매칭한다.
• 빈도 있는 항목집합과 연관 규칙은 Apriori 유사 알고리즘을 사용하여 트윗 키워드에서 마이닝하며, 결과는 그래프와 그룹화된 매트릭스로 시각화된다.
• 사용자 상호작용 네트워크는 노드가 사용자이고 간선이 재트윗 관계를 나타내는 그래프로 모델링되며, 커뮤니티 구조는 Community Walktrap 알고리즘을 통해 탐지된다.
• 그래프 시각화는 Fruchterman-Reingold 레이아웃 알고리즘을 사용하여 고도로 연결된 고립된 커뮤니티를 식별하며, 이는 조작된 정보 전파 캠페인의 특징이다.
• 모델는 파이토치를 사용하여 훈련 및 평가되며, 검증 성능은 재트윗된 트윗에 대한 레이블이 부여된 데이터셋을 기반으로 보고된다.

Figure 1: Time series of tweets for the query ’ukraine’

실험 결과

연구 질문

• RQ1 딥러닝 모델은 어떻게 텍스트 콘텐츠, 사용자 재트윗 행동, 구조적 네트워크 특징을 효과적으로 통합하여 트위터에서의 위조 뉴스를 탐지할 수 있는가?
• RQ2 지리정치적 위기 상황에서 빈도 있는 항목집합과 연관 규칙은 선전 서사의 의미적 구조를 밝히는 데 어떤 역할을 하는가?
• RQ3 그래프 기반의 커뮤니티 탐지 기법은 조작된 콘텐츠를 확산시키는 의심스러운 고립된 사용자 클러스터를 식별할 수 있는가?
• RQ4 연관 규칙의 지지도 및 신뢰도와 같은 정량적 지표는 위조 뉴스 탐지 모델의 예측 성능 향상에 얼마나 기여하는가?
• RQ5 대규모 정보 작전 기간 동안 공격적인 정보 전파 캠페인은 사용자 네트워크 구조상 어떻게 나타나는가?

주요 결과

• 'ukraine nazi'와 'ukraine biological weapon' 주제 분야에서 트윗 수가 2022년 2월 24일부터 급격히 증가하여 러시아 침공의 시작 시점과 일치한다.
• DistilBERT 임베딩과 재트윗자 네트워크 특징(예: SVD 처리된 TF-IDF 표현 포함)을 조합한 딥러닝 모델이 위조 및 조작된 뉴스 탐지에 효과적으로 기여하였다.
• 연관 규칙 마이닝은 'fake', 'nazi', 'biological weapon' 간의 높은 빈도의 의미적 패턴을 드러내어 조작된 서사 프레임워크를 시사하였다.
• 그래프 기반 분석은 높은 내부 연결성을 가진 고립된 사용자 커뮤니티를 식별하여, 일반적으로 정보 전파 캠페인에서 관찰되는 인위적 조정의 특징을 보였다.
• 빈도 있는 항목집합의 지지도 및 신뢰도 값은 기계학습 모델의 예측 기능으로서 유용한 특징으로 확인되었다.
• 그래프 구조, 의미적 패턴, 딥 네트워크의 통합은 트위터에서의 조작된 선전 행동 탐지 능력을 크게 향상시켰다.

Figure 2: Time series of tweets for the thematic field ’ukraine nazi’