[논문 리뷰] Two-path Deep Semi-supervised Learning for Timely Fake News Detection

Xishuang Dong, Uboho Victor외 1명|arXiv (Cornell University)|2020. 01. 31.

Misinformation and Its Impacts참고 문헌 41인용 수 5

한 줄 요약

이 논문은 공유되고 병렬적인 컨볼루션 신경망(CNN)을 통해 감독 학습과 비감독 학습을 공동 최적화하는 이중 경로 딥 세미-서프라이즈드 학습 프레임워크를 제안한다. 이는 최소한의 레이블된 데이터로 실시간 가짜 뉴스 탐지가 가능하도록 한다. 모델은 LIAR 및 PHEME 데이터셋에서 레이블된 데이터가 단 1%일 때조차도 뛰어난 성능을 보이며, 대규모의 레이블이 없는 소셜 미디어 텍스트를 활용하여 실시간 탐지의 효과성을 입증한다.

ABSTRACT

News in social media such as Twitter has been generated in high volume and speed. However, very few of them are labeled (as fake or true news) by professionals in near real time. In order to achieve timely detection of fake news in social media, a novel framework of two-path deep semi-supervised learning is proposed where one path is for supervised learning and the other is for unsupervised learning. The supervised learning path learns on the limited amount of labeled data while the unsupervised learning path is able to learn on a huge amount of unlabeled data. Furthermore, these two paths implemented with convolutional neural networks (CNN) are jointly optimized to complete semi-supervised learning. In addition, we build a shared CNN to extract the low level features on both labeled data and unlabeled data to feed them into these two paths. To verify this framework, we implement a Word CNN based semi-supervised learning model and test it on two datasets, namely, LIAR and PHEME. Experimental results demonstrate that the model built on the proposed framework can recognize fake news effectively with very few labeled data.

연구 동기 및 목표

• 빠르게 변화하는 소셜 미디어 플랫폼에서 레이블이 부족한 데이터로 실시간 가짜 뉴스 탐지에 도전하는 문제를 해결하기 위해.
• 작은 레이블된 데이터와 대규모의 레이블이 없는 데이터셋을 효과적으로 활용하는 딥 세미-서프라이즈드 학습 프레임워크를 개발하기 위해.
• 소셜 미디어 뉴스 환경에서 흔한 저자원 레이블링 상황에서의 탐지 성능 향상을 위해.
• 불균형 데이터셋 포함 다양한 뉴스 이벤트와 데이터 분포에 걸쳐 프레임워크의 강인성을 검증하기 위해.
• 가짜 뉴스 탐지 외의 다른 자연어 처리(NLP) 작업으로의 일반화를 가능하게 하기 위해.

제안 방법

• 공유된 CNN이 레이블이 있는 데이터와 없는 데이터에서 저수준 특징을 추출하고, 이를 두 개의 병렬 경로로 전달한다.
• 한 경로는 레이블된 데이터에 대해 교차 엔트로피 손실을 사용하는 감독 학습 CNN을 통해 분류를 학습한다.
• 다른 경로는 모든 데이터에 대해 평균 제곱 오차 손실을 사용하는 비감독 학습 CNN을 통해 표현 일관성을 학습한다.
• 두 손실은 가중치 합으로 조합되어 전체 모델을 공동 최적화한다.
• 텍스트 표현 학습을 위한 백본 아키텍처로 워드 CNN을 구현한다.
• 프레임워크의 강인성을 평가하기 위해 PHEME에서는 리브-원-이벤트 아웃 교차 검증을, LIAR에서는 표준 분할을 사용한다.

실험 결과

연구 질문

• RQ1 소수의 레이블된 데이터만을 사용하여도 이중 경로 딥 세미-서프라이즈드 학습 프레임워크가 효과적으로 가짜 뉴스를 탐지할 수 있는가?
• RQ2 감독 학습 및 비감독 학습 손실의 공동 최적화가 순수 감독 학습 모델에 비해 탐지 성능을 어떻게 향상시키는가?
• RQ3 PHEME 벤치마크와 같이 학습 및 테스트 데이터 분포가 다를 경우 모델이 높은 성능을 유지하는가?
• RQ4 배치 크기 및 임bedding 차원과 같은 하이퍼파라미터가 모델의 일반화 및 성능 안정성에 어떤 영향을 미치는가?
• RQ5 훈련 데이터의 클래스 불균형이 드문 가짜 뉴스 이벤트 탐지 능력에 얼마나 큰 영향을 미치는가?

주요 결과

• 모델은 레이블된 데이터가 단 1%일 때조차 LIAR 및 PHEME 데이터셋에서 효과적인 가짜 뉴스 탐지 성능을 달성하며, 낮은 데이터에서의 일반화 능력을 입증한다.
• LIAR에서 레이블된 데이터가 증가할수록 성능이 향상되며, 데이터 분포가 일치할 경우 더 많은 레이블 예제가 모델에 유리함을 시사한다.
• PHEME에서는 레이블된 데이터를 늘려도 성능 향상이 항상 이루어지지 않으며, 데이터 분포의 변화와 클래스 불균형으로 인해 실생활 데이터 이질성의 과제가 드러난다.
• 더 큰 배치 크기와 높은 임베딩 차원(256 대비 64)은 성능 변동을 감소시켜, 다양한 훈련 조건에서도 더 나은 안정성을 보임을 시사한다.
• PHEME와 같이 불균형적인 데이터셋에서는 훈련 데이터에서 드문 클래스가 부족할 경우 매크로-A 및 매크로-F와 같은 성능 지표가 악화됨을 확인했다.
• 예를 들어 샤를리 허보, 페리건, 독일항공기장 추락 등 다양한 이벤트에 걸쳐 프레임워크가 수용 가능한 성능을 유지함으로써, 이벤트 특화된 변동성에 대한 강인함을 입증했다.