[논문 리뷰] How Good Are SOTA Fake News Detectors

Matthew Iceland|arXiv (Cornell University)|2023. 08. 04.

Misinformation and Its Impacts인용 수 6

한 줄 요약

이 연구는 기존의 기계학습 모델(예: Random Forest, XGBoost)과 딥러닝 모델(예: BERT, RoBERTa)을 비교하여 최신 기술 수준(SOTA)의 위조 뉴스 탐지기의 실제 환경에서의 내구성을 평가한다. 특히 분포 외 데이터 및 AI 생성 위조 뉴스에 대한 성능을 분석한다. SOTA 트랜스포머 모델은 도메인 내 데이터에서는 높은 정확도를 달성하지만, 실제 적용 시에는 전통적인 모델이 훨씬 더 우수한 일반화 성능을 보이며, 이는 낮은 벤치마크 점수에도 불구하고 실제 운영 환경에서 더 신뢰할 수 있음을 시사한다.

ABSTRACT

Automatic fake news detection with machine learning can prevent the dissemination of false statements before they gain many views. Several datasets labeling statements as legitimate or false have been created since the 2016 United States presidential election for the prospect of training machine learning models. We evaluate the robustness of both traditional and deep state-of-the-art models to gauge how well they may perform in the real world. We find that traditional models tend to generalize better to data outside the distribution it was trained on compared to more recently-developed large language models, though the best model to use may depend on the specific task at hand.

연구 동기 및 목표

• SOTA 위조 뉴스 탐지기가 훈련 데이터 분포 외의 데이터로 일반화하는 능력을 평가하기 위해.
• 실제 운영 환경에서 전통적 기계학습 모델과 딥러닝 모델(예: BERT)의 성능을 평가하기 위해.
• 기존 벤치마크 데이터셋에서의 높은 정확도가 실제 환경에서의 내구성으로 이어지는지 조사하기 위해.
• 낮은 최고 성능에도 불구하고 전통적 모델의 해석 가능성과 계산 효율성의 이점이 무엇인지 탐색하기 위해.
• 데이터 분포 이탈과 AI 생성 콘텐츠가 탐지기 신뢰성에 미치는 영향을 검토하기 위해.

제안 방법

• 다섯 개인 공개된 위조 뉴스 데이터셋에서 전통적 기계학습 모델 6종(예: Random Forest, XGBoost, KNN)과 트랜스포머 기반 모델 6종(예: BERT, RoBERTa)을 훈련시켰다.
• 일반화 능력을 평가하기 위해 도메인 내 테스트 세트와 다른 도메인(예: 정치, 건강)의 분포 외 샘플 데이터셋을 모두 활용해 평가했다.
• 스타일적 이질성이 있는 AI 생성 위조 뉴스에 대한 성능을 평가하기 위해 Grover라는 GAN 기반 뉴스 생성기로 생성된 데이터를 사용했다.
• 계산 부담을 줄이고 텍스트 수준의 특징에 집중하기 위해 입력으로 기사 제목이나 단일 뉴스 문장만을 사용했다.
• 여러 데이터셋과 평가 시나리오에서 정확도와 F1 점수를 기반으로 모델 성능을 비교했다.
• 표준 NLP 파ip라인을 적용하여 TF-IDF와 컨텍스트 임베딩를 사용했으며, 트랜스포머 모델은 단일 GPU에서 미세조정을 실시했다.

Figure 1: Out-of-sample performance matrices for ELECTRA (top) and XLNet (bottom)

실험 결과

연구 질문

• RQ1 위조 뉴스 탐지기는 다른 도메인의 분포 외 샘플 데이터셋에서 얼마나 잘 작동하는가?
• RQ2 훈련 데이터와 다른 스타일 패턴을 가진 AI 생성 위조 뉴스를 탐지기들은 얼마나 정확하게 식별할 수 있는가?
• RQ3 전통적 기계학습 모델과 딥러닝 모델 간의 일반화 능력과 내구성은 어떻게 비교되는가?
• RQ4 기존 데이터셋에서의 높은 벤치마크 점수가 실제 환경 신뢰성과 얼마나 관련이 있는가?
• RQ5 전통적 모델이 대규모 언어 모델보다 위조 뉴스 탐지에 더 강력한 기반을 제공할 수 있는가?

주요 결과

• Random Forest와 XGBoost와 같은 전통적 모델은 분포 외 데이터셋에서 각각 86.70%와 88.72%의 정확도를 기록하여 딥러닝 모델보다 뚜렷이 뛰어난 성능을 보였다.
• Grover에서 생성된 AI 생성 위조 뉴스에 대해 대부분의 트랜스포머 모델은 우연의 정확도 수준(약 50%)에 머물렀으며, D5 데이터셋에서만 CT-BERT가 69.53%의 정확도를 기록했다.
• BERT와 RoBERTa 모델은 도메인 내 정확도가 높았으며(예: FakeNewsNet에서 91.37%), 하지만 분포 외 데이터에서는 성능이 급격히 떨어졌다.
• 단일 전통적 모델이 모든 데이터셋에서 가장 뛰어난 성능을 내지는 않았지만, Random Forest는 여러 분포 외 평가에서 일관된 성능을 보였다.
• 전통적 모델이 딥러닝 모델보다 더 우수한 일반화 능력을 보였으며, 이는 위조 뉴스에서 더 일반화 가능한 패턴을 학습하기 때문일 것으로 보인다. 이는 벤치마크에서의 낮은 최고 정확도에도 불구하고 성립한다.
• 여러 전통적 모델을 앙상블하면 대규모 언어 모델보다 더 강력하고 확장 가능하며 설명 가능한 실생활 위조 뉴스 탐지 대안이 될 수 있다.

Figure 2: Out-of-sample performance matrices for AdaBoost (top) and XGBoost (bottom)