[논문 리뷰] Learn over Past, Evolve for Future: Forecasting Temporal Trends for Fake News Detection

Beizhe Hu, Qiang Sheng외 5명|arXiv (Cornell University)|2023. 06. 26.

Misinformation and Its ImpactsSocial Sciences인용 수 3

한 줄 요약

이 논문은 뉴스 데이터의 주제 수준에서 시간적 패턴을 모델링하여 허위 뉴스 탐지의 시간에 따른 일반화 능력을 향상시키는 새로운 프레임워크 FTT(Forecasting Temporal Trends)를 제안한다. 향후 주제 빈도를 예측하고 이를 바탕으로 학습 인스턴스를 재가중함으로써 FTT는 향후 데이터에서 모델 성능을 향상시키며, 시간적으로 분할된 데이터셋에서 기존 주제와 새로운 주제 모두에서 베이스라인을 능가한다.

ABSTRACT

Fake news detection has been a critical task for maintaining the health of the online news ecosystem. However, very few existing works consider the temporal shift issue caused by the rapidly-evolving nature of news data in practice, resulting in significant performance degradation when training on past data and testing on future data. In this paper, we observe that the appearances of news events on the same topic may display discernible patterns over time, and posit that such patterns can assist in selecting training instances that could make the model adapt better to future data. Specifically, we design an effective framework FTT (Forecasting Temporal Trends), which could forecast the temporal distribution patterns of news data and then guide the detector to fast adapt to future distribution. Experiments on the real-world temporally split dataset demonstrate the superiority of our proposed framework. The code is available at https://github.com/ICTMCG/FTT-ACL23.

연구 동기 및 목표

• 시간적 이동 문제, 즉 과거 데이터로 학습된 모델이 뉴스 분포의 변화로 인해 향후 데이터에서 성능이 저하되는 데 기인한 심각한 과제를 해결하기 위해.
• 감소, 주기성 또는 정적 성향 등의 주제 수준의 시간적 패턴이 미래 일반화를 위한 더 나은 학습 데이터 선택을 이끌 수 있는지 탐구하기 위해.
• 주제 수준에서 시간적 추세를 예측하고, 이러한 예측을 바탕으로 학습 인스턴스를 재가중하는 프레임워크를 개발하기 위해.
• 학습 중에 타겟 도메인 데이터에 접근할 수 없더라도, 허위 뉴스 탐지기의 향후 데이터에 대한 효과적인 적응을 가능하게 하기 위해.

제안 방법

• 프레임워크는 학습 뉴스 항목을 벡터 공간으로 매핑하고, 군집화를 적용하여 잠재적인 주제를 탐지한다.
• 해석 가능한 시간 시리즈 모델을 사용하여 이전 시계열 데이터를 바탕으로 향후 기간 동안 각 주제의 빈도 추세를 예측한다.
• 예측된 추세를 바탕으로 학습 인스턴스를 동적으로 재가중한다: 향후 빈도가 증가할 것으로 예상되는 주제에서 유래한 인스턴스에는 높은 가중치를, 감소하는 주제에서 유래한 인스턴스에는 낮은 가중치를 할당한다.
• 재가중된 손실 함수는 임의의 신경망 기반 허위 뉴스 탐지기의 학습을 이끌며, 이는 향후 데이터 분포에 대한 일반화 능력을 향상시킨다.
• 이 방법은 기존 탐지기와 호환되며, 아키텍처 변경 없이도 적용 가능하다.

실험 결과

연구 질문

• RQ1 주기성, 감소 또는 정적 성향 등의 주제 수준의 시간적 패턴을 효과적으로 모델링하여 향후 데이터에서의 허위 뉴스 탐지 성능을 향상시킬 수 있는가?
• RQ2 향후 주제 빈도를 예측하는 것이 시간적으로 이동된 환경에서 허위 뉴스 탐지기의 일반화 성능에 어떤 영향을 미치는가?
• RQ3 시간적 추세 예측에 기반한 인스턴스 재가중 전략이 향후 데이터에서의 성능 저하를 어느 정도 감소시킬 수 있는가?
• RQ4 제안된 프레임워크는 향후 시간대에서 기존 주제와 새로 등장한 주제 모두에서 탐지 성능을 향상시키는가?

주요 결과

• FTT는 시간적으로 분할된 데이터셋에서 다섯 가지 베이스라인 방법보다 뛰어나며, 새로운 주제에서 매크로 F1이 0.8846, 기존 주제에서 0.8843을 기록했다.
• 프레임워크는 기존 주제뿐 아니라 새로운 주제도 향상시켜, 알려지지 않은 주제와 변화하는 분포에 대한 일반화 능력 향상을 시사한다.
• 사례 연구 결과 FTT는 증가 추세(예: 빅테크, 전염병)와 복잡한 패턴(예: 약물 안전성에서의 '미소 곡선')을 성공적으로 포착하여 이전에 잘못 분류된 인스턴스의 예측을 수정하는 데 기여했다.
• 통계 분석을 통해 재가중 전략이 고빈도 주제에 대한 모델의 익숙함을 효과적으로 증가시키고, 새로운 주제에 대한 강건성을 향상시킨다는 것이 확인되었다.
• 모델의 성능 향상은 주제 수준의 시간적 추세를 정확히 예측함으로써 더 효과적인 학습 데이터 가중치 설정을 이끌 수 있었기 때문으로 기인된다.