[논문 리뷰] Deep Two-path Semi-supervised Learning for Fake News Detection

Xishuang Dong, Uboho Victor외 2명|arXiv (Cornell University)|2019. 06. 10.

Misinformation and Its Impacts참고 문헌 14인용 수 30

한 줄 요약

이 논문은 공유 및 별도의 합성곱 신경망(CNN)을 사용하여 감독 및 비감독 손실을 공동 최적화하는 깊이 있는 이중경로 준감독 학습 모델(DTSL)을 제안한다. 라벨이 부여된 Twitter 데이터와 라벨이 없는 데이터를 모두 활용함으로써, 특히 라벨 데이터가 적은 환경에서 뛰어난 성능을 달성하며, 데이터 분포 변화에 대한 강건성과 PHEME 데이터셋에서 감독 기반 모델들을 능가함을 입증한다.

ABSTRACT

News in social media such as Twitter has been generated in high volume and speed. However, very few of them can be labeled (as fake or true news) in a short time. In order to achieve timely detection of fake news in social media, a novel deep two-path semi-supervised learning model is proposed, where one path is for supervised learning and the other is for unsupervised learning. These two paths implemented with convolutional neural networks are jointly optimized to enhance detection performance. In addition, we build a shared convolutional neural networks between these two paths to share the low level features. Experimental results using Twitter datasets show that the proposed model can recognize fake news effectively with very few labeled data.

연구 동기 및 목표

• 트위터와 같은 소셜 미디어 플랫폼에서 실시간 가짜 뉴스 탐지 시 라벨이 부여된 데이터의 제한 문제를 해결하기 위해.
• 감독 학습을 위한 라벨이 부여된 데이터와 자기감독 표현 학습을 위한 비라벨 데이터를 공동으로 활용하여 탐지 성능을 향상시키기 위해.
• 학습 및 테스트 데이터 분포가 다를 경우 과적합을 줄이고 일반화 능력을 향상시키기 위해.
• 실제 이벤트를 하나씩 제외하는 교차 검증 환경에서 PHEME 데이터셋에서 모델의 효과성을 검증하기 위해.
• 준감독 학습이 인간이 애너테이션한 데이터가 극히 적은 상황에서도 가짜 뉴스 탐지 성능을 크게 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 모델은 입력 트윗에서 저수준 특징을 추출하기 위해 공유 CNN를 사용하며, 감독 및 비감독 경로 모두에 공통으로 적용된다.
• 감독 경로는 공유 CNN에 이어 512, 256, 128 필터를 가진 감독 CNN이 연결되어 라벨이 부여된 샘플에 대한 예측을 생성한다.
• 비감독 경로는 동일한 공유 CNN를 사용하지만, 별도의 비감독 CNN(동일한 아키텍처)에 연결되어 모든 샘플(라벨이 없는 것 포함)에 대한 예측을 생성한다.
• 모델은 두 손실의 가중합을 최적화한다: 라벨이 부여된 데이터에 대한 교차 엔트로피 손실과 모든 샘플에 대해 두 경로의 예측 간 평균 제곱오차(MSE) 손실.
• 비감독 손실의 가중치는 훈련 중에 스케줄링 함수를 통해 점차 증가하여 점진적으로 자기감독을 강조한다.
• 훈련에는 안정성과 수렴성을 고려해 하이퍼파ram터를 조정한 ADAM 옵timizer를 사용하며, 드롭아웃(0.8), 비교를 위한 2층 BRNN 베이스라인, 총 100 에포크의 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 라벨이 부여된 트윗 비율이 매우 낮은 상황에서 이중경로 준감독 CNN 모델이 가짜 뉴스 탐지 성능을 향상시킬 수 있는가?
• RQ2 감독 및 비감독 손실을 공동 최적화함으로써, 다양한 이벤트 분포 간의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 낮은 라벨 데이터 조건에서 제안된 모델이 BRNN 및 전통적인 머신러닝 모델과 같은 완전한 감독 모델을 능가하는가?
• RQ4 실제 운영 환경을 시뮬레이션하는 이벤트 하나를 제외한 교차 검증 환경에서 모델의 성능은 어떠한가?
• RQ5 라벨이 부여된 데이터 비율을 변화시켰을 때, 특히 학습 및 테스트 데이터 분포가 다를 경우 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 라벨이 부여된 데이터가 5%일 때 DTSL 모델은 매크로-F1 스코어 53.90%를 기록했으며, 기존 모델인 나이브 베이즈(41.24%)와 SVM(12.56%)를 크게 앞서나갔다.
• 라벨이 부여된 데이터가 10%일 때 모델은 매크로-F1 스코어 61.53%를 달성하여, 라벨이 적은 조건에서도 뛰어난 성능을 보였다.
• 라벨 비율이 30%로 증가했을 때 매크로-F1 스코어는 57.98%로 감소했으며, 이는 데이터 분포 불일치로 인한 분포 이동 또는 과적합의 가능성을 시사한다.
• 불균형하고 특이한 콘텐츠를 가진 페어거슨(FE) 이벤트에서는, 라벨 비율 증가에 따라 F1 스코어가 5%일 때 22.22%에서 10%일 때 40.00%로, 30%일 때 50.00%로 향상되어 모델의 적응 능력을 보여주었다.
• 모델는 특히 이벤트 간 평가에서 감독 모델인 BRNN 및 SVM보다 뛰어난 분포 이동에 대한 강건성을 보였다.
• 비감독 손실 성분(MSE: 이중 CNN 출력 간의 평균 제곱오차)이 저자료 환경에서 특징 일반화를 향상시켜 성능 향상에 기여했으며, 특히 중요한 기여를 하였다.